BehaviorBench の実測結果: Be.FM は集団に一致し、個人には届かなかった

Anicca Research · Manager · 2026年11月11日

誰でも思い浮かべられる小さな実験があります。ある人に100ドルを渡し、こう言います。「見知らぬ誰かと、好きなように分けてください。全額持ってもいいし、半分渡してもいいし、全部あげてもいい」。200人に聞くと、答えはきれいに散らばります。渡す額の平均は24.72ドルですが、本質はその散らばりの方にあります。何も渡さない人が大勢いて、きっちり半分を渡す人が大きな山を作る。人間の行動を本当に理解したモデルなら、平均だけではなく、その凸凹のある分布全体を再現できるはずです。そして同時に、特定の1人の背景を見て、その人が何をするかを予測できるはずでもあります。

先日、私たちは人間の行動データで微調整された基盤モデル Be.FM について、自分たちが選んだベンチマーク上での対照群テストを公開しました（Be.FM 論文、arXiv:2505.23058、対照群の記事）。今回はその対になる実行です。Be.FM-1.5-4B を、Be.FM の作者自身がこの種の評価のために作ったベンチマーク BehaviorBench の上で走らせました（BehaviorBench、arXiv:2606.24162、プロジェクトページ、データセット、モデルカード）。公式ハーネスには一切手を入れず、作者らの基盤モデルを同じ条件で横に走らせ、意図的に素朴なベースラインを2つ加えました。結果はきれいに2つに割れます。Be.FM は集団の分布をほぼ完璧に再現しました——しかし個人の予測では、「平均を答えるだけ」の基準に勝てませんでした。

何を走らせたか

BehaviorBench は行動モデルを2つのレベルで評価します。個人レベルは、予測が個々の人の答えにどれだけ近いかを見ます。分布レベルは、モデルの回答集団が人間の集団とどれだけ一致するかを見ます。指標は Wasserstein 距離と Kolmogorov–Smirnov（KS）検定です。平均は当てても多様性を潰してしまうモデルを落とすための物差しです。データの出所は、MobLab の経済ゲーム記録（12,685件の観測）と、Big Five 人格検査の回答（6,000件）です。

今回の実行では公式評価パッケージ（behaviorbench_eval、commit beaf9b33）を無改造で使い、両モデルを llama.cpp でローカル配信し、同一設定で走らせました。対戦者は次の4者です。

• Be.FM-1.5-4B — 行動データで微調整された LoRA アダプタ。下の基盤モデルの上に載ります。論文によれば、その学習データは BehaviorBench から held-out されています。
• Qwen3-4B-Instruct-2507 — Be.FM の土台である汎用基盤モデル（両者とも Q4_K_M 量子化）。
• prior_marginal — モデルを持たない素朴なベースライン。調査項目では、その項目で最も多かった人間の回答を常に返し、特性スコアでは次元ごとの人間の平均を返します。正直な注意点が1つあります。BehaviorBench には学習用スプリットが存在しないため、この prior は評価スプリットの周辺分布から計算しました。どの項目にどの答えが対応するかは一切見ていませんが、本来の学習 prior の代用としては楽観側（有利な側）の物差しです。勝った箇所ではその旨を明記します。
• prior_constant — 情報ゼロ。常に尺度の中点（1–5の調査では3、10–50の特性スコアでは30）を返します。

走らせたのは、ベンチマーク全30種超のタスクのうち3つです。個人レベルの調査応答予測と Big Five スコア予測、そして分布レベルの上記の独裁者ゲームです。条件は全対戦者で同一です。個人レベル課題は temperature 0.0、最大出力32トークン、seed 42、各タスク n=20 件（公式ファイルは最大1,000件）。独裁者ゲームは temperature 1.0 で50サンプルを生成し、人間の参照分布（n=200）と比較しました。4つ目の課題である欠損調査応答の予測は、LLM の実行を見送りました。プロンプトが約950トークンと長く、ローカルの処理速度では数時間規模になるためです。その prior の数字だけ、記録として下に載せます。

結果

調査応答予測（n=20、対象項目16グループの平均。回答は1–5）:

Big Five スコア予測（n=20、5次元の平均。スコア範囲は10–50）:

独裁者ゲーム（各モデル50サンプル、temperature 1.0。人間の参照は n=200、平均24.72ドル、標準偏差19.19ドル。100ドルの分配）:

記録として、走らせていない4つ目の課題の prior を全件（n=1,000）で載せます。prior_marginal は Accuracy 0.3864 / MAE 0.9973、prior_constant は Accuracy 0.2236 / MAE 1.1361 でした。

判定: 明確な勝ちが1つ、明確な負けが1つ

勝ちは本物です。 分布レベルでは、Be.FM は基盤モデルより「わずかに」良いのではありません。人間の分布への近さで約10倍の差がつき（Wasserstein 2.105 対 20.275）、Qwen3-4B が不合格だった KS 検定に合格しました。尺度として、人間の標本そのものを50対150に分けて同じ方法で比べると、その距離は 3.43 ± 1.59 でした。Be.FM の 2.105 は、人間同士の距離の範囲の内側にあります。行動データでの微調整は、このモデルに「人の集団とはどういう形をしているか」——質量がどこにあり、散らばりがどれほど広く、どこに山ができるか——を確かに教えています。これは BehaviorBench 論文自身の見出し（公式リーダーボードで Be.FM-1.5-4B は分布レベルの Mean Win Rate 95.3% で首位）とも一致します。その主張の方向を、作者のハーネスで、自分たちの手で再現できたことになります。

負けも本物です。 個人レベルでは、2つの Big Five 課題（各 n=20）のどちらでも、両 LLM は prior_marginal——個人を一切見ずに集団の平均を返すベースライン——を安定して上回れませんでした。調査応答では Qwen が Accuracy でだけ prior をわずかに上回り（0.4375 対 0.4167）、MAE では負けました（1.0000 対 0.8750）。Be.FM は両指標で後れを取りました。特性スコアでは Be.FM が全指標で Qwen を上回りながら、見出しの指標では prior に敗れました（MAE 5.68 対 4.73）。これは先日の MaMe-Re 対照群テスト——Be.FM が 0.5556 で単純な prior の 0.6111 に届かなかった——と同じ方向です。データセットも指標も分母も違うため、比較できるのは方向だけですが、その方向は一致しています。分布の再現には強い。しかし個人の点予測は、素朴な物差しをまだ超えていません。

限界を、そのまま書く

• n=20 は小さい。 prior 自身のサブセット値は全件の値から大きく振れます。特性スコアの MAE は、全件（n=1,000）で 6.37、n=20 で 4.73、n=50 で 7.63 です。したがって上の個人レベルの順位は、サンプリングノイズの範囲内にある可能性があります。順位の確定には n を大きくした再実行が必要です。
• デコーディング条件が公式リーダーボードと違う。 再現性のために temperature 0.0 を使いましたが、論文にも公式コードにもリーダーボード側のデコーディング条件の明記はありません。こちらの数字はこの表の中でのみ比較し、リーダーボードの絶対値と単純比較しないでください。
• 範囲は全30種超のうち3タスクのみで、計画した1タスクには LLM の数字自体がありません。戦略的意思決定や知識応用の能力は、ここでは何も測っていません。
• 独裁者ゲームのモデル側サンプルは50件で、公式の想定（200件）より小さく、KS 検定の検出力もその分低くなります。
• prior_marginal は楽観側の物差しです（上記のとおり評価スプリットの周辺分布から作りました）。勝った箇所では、小さな先行があることを割り引いて読んでください。
• サブセット抽出の seed は 42 の1本のみで、seed 依存性は未検証です。
• Be.FM は研究評価のみの利用です。アダプタの利用権の不整合が未解消のため、商用ロードはしていません。データセットも CC BY-NC-ND 4.0 のため、研究評価のみ・再配布なしです。

次に作るもの

この表から直接に2つのことが続きます。第一に規模です。個人レベル課題をずっと大きな n で再実行し、prior との順位をコイン投げではなく計測に変えること。飛ばしたタスクへの範囲拡大も含みます。第二に——数字が指し続けている空白そのものです。周りの集団ではなく、目の前のその人を条件にして予測する、個人レベルの予測器です。Be.FM が示した分布への忠実さを保ったまま。集団の振る舞いは分かっても、この人が何をするか分からないモデルは、行動モデルとしてまだ半分です。その半分を埋めることが、次の仕事です。

方法とレシート: 実行は2026年11月11日。公式ハーネス `behaviorbench_eval`（commit `beaf9b33`）を無改造で使用し、モデルは llama.cpp b12137 で配信しました（Qwen3-4B-Instruct-2507 の Q4_K_M GGUF。Be.FM-1.5-4B は同一の基盤に LoRA アダプタを載せたもので、バイト列は実行記録の中で SHA-256 により固定）。個人レベル課題は temperature 0.0、max_tokens 32、concurrency 4、seed 42。独裁者ゲームは temperature 1.0 で50サンプル。上の全スコアはハーネス自身の出力 JSON のグループ平均です。失敗した初回実行や実行環境の事故を含む完全な実行記録は研究ノート側に保持しており、この記事の数字はそこから調整なしに引いています。