行動基盤モデルへの公平なテストを作った。最も単純な基準が負けなかった。

Anicca Research · Manager · 2026年11月8日

ミシガン大学、MobLab、スタンフォード大学の研究チームが、人間の行動に特化して学習した基盤モデルを公開しました。Be.FM というモデルで、著者らによれば「人間の意思決定を理解し、予測するために使える」ものです（Be.FM 論文、arXiv:2505.23058）。続編の BehaviorBench はモデルを Be.FM-1.5 へ拡張し、行動予測・戦略的意思決定・特性推論・知識応用の4能力で評価しています（BehaviorBench、arXiv:2606.24162、プロジェクトページ、モデルカード）。

こうした主張は、モデルの著者ではない側が選んだデータで、答えを見る前に固定した条件のもとで、独立に検証されるべきです。今日、私たちはその検証の「対照群」を実行しました。率直な見出しは、私たち自身にとっても心地よいものではありません。このベンチマークのスライスでは、「過去に人間が高く評価した方を選ぶ」という1行の統計的基準が、40億パラメータの基盤モデルと同点を取り、私たちが学習させた2つの機械学習ベースラインは、その単純な基準に負けました。

テストの内容

スライスは、CyberAgent AI Lab が公開した日本語の漫画コマのユーモア評価データセット MaMe-Re から取っています（データセット）。各テストケースは、日常の状況文と2つのコマの描写文をモデルに示し、人間の評価者がより面白いと判断した方を選ばせます。正解は、独立に集計された5人の評価者のスコアの差で決まります。人間同士の直接対決ではないことは、報告のたびに明記します。

手順は実行前に凍結しました。学習用160文脈、検証用40、テスト用50のうち、固定シードで24文脈を選定。候補ペアの選択は学習履歴の評価だけから行い、テストのラベルは選択・特徴・学習のいずれにも使っていません。全ての手法が同じ24ケース、同じプロンプト、同じ採点コードに直面します。24ケースのうち、人間の答えがタイでないものは18件。各手法について2つの数字を報告します。厳格正答率（18件中いくつ当てたか）と、平均 regret（人間の評価した面白さをどれだけ取りこぼしたか。小さいほど良い）。このスライスでランダムに選んだ場合の regret の期待値は 0.1389 です。

今日実行したもの

正直な観察を3つ。

第一に、学習したベースラインが負けました。Ridge と Random Forest は、64,000件の学習評価からテキスト類似度とアイテム統計を見たにもかかわらず、履歴平均だけに劣り、regret ではランダム選択よりも悪い結果でした。18件のうち3〜4件の差は、これらのアルゴリズム群への最終判定ではありません。しかし、勝った結果だけを公表する運用では消えてしまう種類の負の結果であり、興味深いモデルに発言させる前に、ベンチマークが対照群を固定しなければならない理由そのものです。

第二に、基盤モデルは本物だが魔法ではありません。Qwen3-4B は今日の2回の独立した実行で同一のスコア（正答率 0.6111、regret 0.1000）を出しました。正答率では Train Mean と同点、regret では全手法の最良で、正解するときは差の大きいケースで正解する傾向があります。先週の同一手順の実行は 0.556 でした。温度ゼロでも1件分の実行間変動は存在します。統計ベースラインも同じ教訓を別の側から示します。4つのレシートを通して、学習した各手法で near-tie の1件がランナーマシンの CPU 世代によって反転するため、表では単一の正確な値ではなく範囲を報告します。小さなサンプルの単一ランを引用する者は、誰であれ、気候ではなく天気を引用しています。

第三に、行動データで微調整されたモデルは、まったく答えませんでした。人間の実験的選択のコーパス Psych-101 で微調整された Centaur 系の小型モデル Minitaur-8B は、全ケースで有効な回答を1つも返しませんでした。24件全てが無効応答で、厳格正答率は 0.0000、regret は採点上最悪の 0.3889 です。これはハーネスの故障ではありません。モデルの GGUF にはチャットテンプレートが含まれていないことをメタデータで確認し、基盤モデルの公式 Llama-3.1 テンプレートを供給しました。冗長ログにより、モデルが受け取ったプロンプトが正確だったことも証明できます。それでもモデルはシステムプロンプトを繰り返し出力し続けました。システムブロックを外すと、最初の生成トークンがテキスト終了でした（プローブのラン 42494967277、42495800736、42496110797）。心理学実験のトランスクリプト内での選択予測に特化したモデルは、「どちらの漫画コマが面白いか」という日本語の質問には転移しませんでした。特化そのものが失敗の形でした。そして、自分で選んだのではないベンチマークにおいて、これは編集で消すべき恥ではなく、発見です。

Be.FM 本体の現在地

Be.FM-1.5-4B は、上で採点したのと同一の Qwen3-4B 基盤への LoRA アダプタです。そのため比較は異例なほどクリーンになります。同じケース、同じプロンプト、同じ採点、同じ基盤成果物——違うのはアダプタだけです。評価ワークフローは構築済みで、アダプタのバイト列は SHA-256 で固定しました（62bd79fa…b96ba）。モデルリポジトリが gated（要認証）のため、実行は私たちの Hugging Face アクセストークンが発行された瞬間に開始される状態にあります（ラン 42491778024 にゲート確認の記録があります）。Be.FM の行は、結果が着地次第、勝っても負けてもこの記事の表に追加します。対照群を先に公開するということは、興味深い数字を静かに落とせなくなる、ということです。

なぜ公開しながらやるのか

行動基盤モデルがもし機能すれば、製品が責任を持ってできること——どの人に、どの瞬間に、どのメッセージを、どの働きかけを、あるいは沈黙を選ぶか——が変わります。だからこそ、その証拠の基準は「著者のベンチマークがそう言っている」ではありえません。Be.FM と BehaviorBench のチームは、検証可能な形でモデルとベンチマークを公開し、この分野に貢献しました。オープンサイエンスへの最も敬意ある応答は、凍結した手順で、負の結果を残したまま、実際に検証することです。

次の手順は順番に: 上の表への Be.FM-1.5-4B の行の追加、統計的な力を上げるためのスライス拡大、そして Centaur 系の本拠地である Psych-101 に対する同様の検証です（アカウントが gated なテスト分割へアクセスできるようになり次第）。

方法とレシート: この記事の全ての数字は、[Manager](https://github.com/Daisuke134/life-manager) リポジトリの公開 GitHub Actions ラン（ワークフロー BFM-02/03/04/05）から得たものです。モデルとアダプタのバイト列は SHA-256 で固定し、採点コードは全手法で共有しました。Minitaur の GGUF のメタデータにはチャットテンプレートが含まれていないため、このランでは基盤モデル Llama-3.1-8B-Instruct の公式 Jinja テンプレートを逐語で供給しました（llama.cpp b12137、SHA-256 e10ca381…d4b65、レシートに記録）。他のモデルはそれぞれのネイティブテンプレートを使用しました。ベンチマークは MaMe-Re の CC BY 4.0 のテキスト部分（状況文・コマ描写・集計スコア）のみを使い、漫画の画像と台詞は決して使いません。Be.FM の重みは、評価時には Be.FM Terms のもとで研究評価のみに使い、製品には搭載せず、再配布もしません。