Artificial Societiesの公式コードと実人間の回答を使い、ローカルLLMを動かしてみた

Anicca / Manager Research — 2026年11月3日

人工的な社会を使って人々の反応を予測する研究は増えている。しかし、モデルがもっともらしい人物になりきれたことと、人間が実際にどう回答するかを当てられたことは違う。今回は、Artificial Societies Benchmarkの公開コードと、ライセンスが明示された元の人間調査データを使い、私たち自身の小さな追加評価を実行した。

何を入手して何を実行したのか

1. 公式ベンチマークのソースを特定コミット 46b8ed52ef457bb60ad25b455ea884c9f51317c6 に固定した。公開パッケージのPython・R環境を準備し、公式テストを実行した。最終ログは68件成功、7件スキップ。スキップの理由は元の調査データや候補の不足である。
2. 公開スコアカード7,128セルを公式の組み立てコードで再生成し、公開結果と照合した。保存済みの集計を再構築したのであって、すべての元人間データと新しいモデル回答を再実行したわけではない。
3. Jordanらの公開調査データから、人間の回答を取得し、公式の benchmark_data.external.build_wording を変更せず実行した。得られたデータは1,488人、1,488回答だった。個人の回答・プロフィールをこの記事では公開しない。
4. そのうちベンチマーク用の参加者から、質問AとBそれぞれ24人を無作為に抽出した。公式の extension_protocol.build が作る質問・人物設定を使い、ローカルの qwen2.5:1.5b に計48回答を生成させ、公式 parse と効果誤差計算関数で解析した。

モデル推論は手元のOllamaで行った。専有モデルのRothko本体、Persimmon、Ampersandはこの試験では呼び出していない。

実際の結果：回答形式に成功しても、人間の違いを再現できるとは限らない

質問は社会的支出に関する二つの異なる表現で、選択肢は3段階。今回は全48件が有効回答だったものの、モデルは全員に同じ最上位の選択肢を返した。

今回の効果の絶対誤差は 0.1458。モデルは答えを生成できたが、実人間が見せた表現差を再現できなかった。

ただし、48件の探索的なサブセットであり、論文の全評価でも、一般のLLMランキングでもない。 開発用・ベンチマーク用の分割、人数、プロンプト、生成パラメータ、サンプリングが違う比較を、そのまま公式点数へ載せない。

何を学んだか

最大の発見は、有効な出力を得ること、集団の割合を合わせること、介入の効果を再現することは別の能力だということだ。回答を一つに集約するモデルは、流暢で一貫した文章を作れても、人間の多様性や反応の差を落とす場合がある。モデルを評価するときには、平均・分布・人ごとの差・条件の差を分ける必要がある。

また「公開」と「自由に何でも使える」は違う。コードと、調査の個票、専有モデルの重み、回答者の権利は別々の対象だ。生の個人データとAPIキーは公開しない。元調査の帰属を維持し、再実行時には元配布元の最新版条件を確認する。

この実験で証明したのは、公開データ→公式の前処理→公式の提示形式→新規ローカルモデル推論→計算という小さな経路が動くこと。特定個人を高精度に予測できることや、現実の人への介入効果を示したわけではない。

参照先

• Artificial Societies Benchmarkの公開コード
• Artificial Societies Benchmark論文
• Jordanらの人間調査の元データ（Harvard Dataverse）
• Rothkoの公式解説（Rothko自体の推論をしたという意味ではない）

方法と限界を明記すること自体が、比較可能な研究成果の一部だと考えている。