Simileは人間の何を予測するのか：行動分布、信頼度、社会を変える前の検証

新しいサービスの料金を変えると、何人が使い続け、何人が離れるのか。薬局の待ち時間や説明を変えると、誰の負担が減るのか。Simileは、こうした判断の前に人間の反応をシミュレーションする企業だ。公開資料から読み取れる有力な使い方は、候補を早く比較し、現実の調査や実験をどこに集中させるかを決めることである。[1][2]

ただし、自然な会話、個人の回答再現、集団の行動予測、政策による生活改善は、それぞれ別の評価を必要とする。Simileを理解するには、この違いを保ったまま研究と製品を読む必要がある。本稿は2026年10月12日までに確認した公開資料の解説であり、製品を実際に動かした利用報告ではない。

会社の目標と、現在確認できること

Simileの共同創業者はJoon Sung Park（CEO）、Michael Bernstein（Chief Data Officer）、Percy Liang（Chief Scientist）である。公式サイトは、ParkをGenerative Agentsと実在個人のシミュレーション、Bernsteinを人間中心のAIと社会的システム、Liangを基盤モデルと評価の研究に結びつけて紹介している。人の行動を表す研究と、その正確さを検証する研究を事業に持ち込む組み合わせだ。[1]

同社の構想は、製品・広告・政策を作ることが容易になった世界で、「何を、誰のために作るか」を人間の反応に基づいて判断できるようにすることにある。全世界の80億人をシミュレーションするというミッションは、この構想の到達目標だ。80億人を既に個別に再現し、あらゆる制度変更を検証したという実績ではない。[2][3]

2026年7月30日のSeries B発表では、同社は「2億ドル超を、投資後評価額20億ドルで調達した」と報告した。売上5倍、数千万回の企業向けシミュレーション、50人超のチームも同社の説明である。これは会社による発表であり、独立監査済みの数字として扱えない。売上の基準額やARRは示されておらず、この資金調達表現から累計額の内訳を補うこともできない。[3]

「答え」ではなく「答えの分布」を予測する

大規模言語モデル（LLM）は、文章の続きを生成するために大量のデータから学習したモデルである。一般的なLLMに「30代の銀行利用者として答えて」と頼めば、それらしい文章は出せる。しかし、その文章が現実の30代を代表するかどうかは別途測らなければ分からない。

Simileの2026年8月の技術ブログが示す入力は、対象集団、状況、選べる行動である。出力は、各行動を選ぶ割合の予測だ。たとえば「使い続ける50%、他社へ移る30%、利用をやめる20%」という分布になる。これは説明用の例で、Simileの実測結果ではない。誰が必ずどの選択をするかを断定せず、集団としての反応を表している。[4]

予測を確かめるには、同じ条件で実際の人の回答や行動を集める。その観測が「40%、40%、20%」だったとしよう。二つの分布のずれを測る全変動距離（TVD）は、各割合の差の絶対値を足し、2で割る。

\[ \mathrm{TVD}(P,Q)=\frac12\sum_i|P_i-Q_i| =\frac12(0.10+0.10+0)=0.10 \]

2で割るのは、ある選択肢で減った割合を別の選択肢で増えた割合としても数えているためだ。TVDは0なら一致、1なら二つの分布が重ならない。例の0.10は、10%分の割合を選択肢間で移すと一致することを表す。「90%の人の行動を個別に当てた」という意味にはならない。

観測分布にも誤差がある。100人の調査は母集団、つまり知りたい対象全体の完全な写しではない。対象者の選び方が偏れば人数を増やしても偏りは残る。統計的な信頼区間は、一定の仮定の下で標本から推定する際の不確実性を表す。一方、後述するSimileの「High confidence」は予測誤差を別のモデルで推定した区分であり、用語が似ていても同じものではない。

何を学習させているのか

Simileは、食品店や配達アプリの取引、アプリ利用、クリック、移動などの行動データと、調査、AIによる音声インタビュー、実験を組み合わせて学習すると説明している。行動ログからは「何をしたか」、本人の説明からは価値観、習慣、制約など「なぜそうしたか」の手掛かりが得られる。[4][5]

両者を組み合わせる理由は、発言と行動のずれを調べられるからだ。「環境に配慮した商品を買いたい」と答えても、予算の制約で安い商品を選ぶことがある。本人の説明も記憶違いや事後の合理化を含むため、動機の完全な観測ではない。取引、自己報告、実験を互いに照合する必要がある。

モデルを特定のデータで追加学習し、重みを更新することをfine-tuningと呼ぶ。8月のブログのモデル図は、Qwen3.5-27BをSimileがfine-tuningしたシミュレーションモデルを示す。27Bは約270億のパラメータを持つ規模を表す。一方、人間データの総量、データごとの比率、商用シミュレーションモデルの厳密な学習損失、人物をまたぐデータの結び付け方は公開されていない。後述するconfidenceモデルのRMSE損失を、行動予測モデル全体の損失として説明することはできない。[4]

ブログが挙げる、値上げを機に習慣が中断し、知人から聞いた別ブランドを再検討する例は、複数の情報が機序の理解に役立つことを示す説明例だ。その物語自体が実験で特定された因果関係というわけではない。[5]

研究の四つの系統は、何を確かめたのか

1．Smallville：記憶から一貫した行動を作る

2023年の「Generative Agents」は、架空の町Smallvilleで25人の架空エージェントを動かした研究である。エージェントは観察した出来事を自然言語の記憶として保存し、新しさ、重要度、現在の状況との関連性を使って記憶を取り出す。[6]

reflectionは、複数の記憶から高次の解釈を生成する処理だ。たとえば、会話や出来事から他者との関係について推論し、根拠となった記憶と結び付けて保存する。planningでは、一日の大まかな予定を細かい行動へ分解し、新しい出来事や会話に応じて計画を変更する。記憶、解釈、計画を組み合わせることで、その場限りの会話よりも継続した人物らしさを作った。

評価の中心は、人間が行動をどれほどもっともらしいと判断するかと、これらの部品を外した際の違いだった。実在の人口に対して選択割合が正しく校正されたことを示す研究ではない。記憶の取り出し漏れや、記憶にない内容を付け足す失敗も報告されている。公式サイトは現在の製品にもこれらの考え方が生きていると説明するが、2023年の公開実装と商用製品の内部コードを同一視できない。[1][6]

2．実在個人のgrounding：本人の情報を与える

「LLM Agents Grounded in Self-Reports」の2026年6月公開v3は、米国成人1,052人を対象にした研究である。約2時間の英語インタビューや構造化調査をGPT-4oの入力に含め、本人の回答を予測した。groundingとは、予測を実在する人の情報に結び付けることだ。個人ごとにモデルの重みを学習した方式ではない。[7]

研究では、心理学者など四つの専門家の視点から本人の情報を整理するreflectionも生成した。これはモデルによる解釈であり、本人が述べた証言と区別する必要がある。

一般社会調査（GSS）への回答では、インタビューだけを使ったエージェントの一致率は65.67%。同じ人が2週間後に自分の回答を再現する一致率は79.53%だった。研究では個人ごとの再回答の一貫性を基準に正規化し、約83%という指標を報告する。上の集計値の比も約83%になるが、正規化指標は単純な全体比だけではない。83%をそのまま絶対的な正答率と読むと、実際の一致率を大きく見積もってしまう。[7]

調査だけを使う方式は正規化82%、両方を使う方式は86%で、インタビューと調査だけの差は統計的に有意ではなかった。インタビューが唯一の有効な方法だとは結論できない。実報酬付きの経済ゲームでも、エージェント群の差は有意ではなかった。さらに米国・英語の標本の結果から、他国、人口全体の態度間の関係、政策の効果へ同じ性能を広げる根拠はない。

3．Socrates：人間の回答でモデルを追加学習する

2025年EMNLP最終論文のSocratesは、公開された社会科学実験を学習用に整えた研究である。SocSci210には210研究、400,491人、約290万回答が含まれる。モデルに人口属性、実験条件、質問などを与え、人間の回答へ近づくよう追加学習した。本人の情報を入力するだけの方式から、モデルの重みを変える方式へ進んでいる。[8]

教師ありfine-tuning（SFT）は観測された回答を学習例にする方法であり、DPOは回答候補の比較を使って望ましい出力へ近づける方法だ。この論文では、集団の分布を近づける成績と、個人の回答を当てる成績で、手法の得意な点が異なった。正答率だけでモデルを選ぶと、集団の割合を再現する目的とずれる可能性がある。

未知の研究を試す評価では170研究で学習し、40研究を留保した。Socrates-Qwen14Bは基盤モデルに対して、回答分布のWasserstein距離による誤差を26.3%減らした。この距離は、順序のある回答をどれだけ移せば観測分布へ近づくかを測る。26.3%は誤差の相対減少であり、正答率26.3%でも、26.3ポイントの改善でもない。[8]

回答を与えて生成した推論文も学習に使われたが、それは回答を説明するモデル生成文である。実験参加者の心の中で生じた理由を直接観測したものではない。公開データ・コード・モデルのあるSocratesと、Simileの現在の非公開商用モデルも区別する必要がある。

4．現行製品：行動分布に誤差予測を付ける

商用製品について公開された具体的な進歩は、人間行動の分布を予測するモデルに加え、その予測の誤差を推定するconfidenceモデルを学習している点だ。もっともらしい人物、実在個人の回答、未知研究への分布予測という研究成果を、そのまま製品全体の精度として足し合わせることはできない。[4]

confidenceは「自信あり」という文章と何が違うのか

新しい問いの本当のTVDは、現実の人の反応を集めるまで分からない。Simileは過去の予測と実際の分布を比較し、その誤差を新しい問いについて予測するモデルを作った。行動予測が「何人が選ぶか」を出すのに対し、confidenceモデルは「その分布がどれほどずれそうか」を出す。[4]

ブログは約8,600問の評価を説明する。行動モデルの学習に使わない問いを用い、confidenceモデルについては五つに分け、四つで学習し、残る一つで試す交差検証を行う。各問は、その問を学習に使っていないconfidenceモデルで評価される。同じ質問文と、その実験の標本全体を同じ組に入れ、学習側と評価側への情報の漏れを抑えている。

選択肢数や、出力分布の散らばりだけを使う方法の信号は弱かった。改善した方法の一つは、シミュレーションモデル内部の数値表現を使って誤差を推定するprobeである。同じ計算で得た内部表現を使えるので、追加のモデル呼び出しを必要としない。もう一つは、シミュレーションモデルをさらに学習し、出力部を誤差の数値一つを返す形に変える方式だ。

この追加学習方式のRMSEは0.0776、probeは0.0792だった。RMSEは、誤差予測と実際の誤差の差を二乗平均し、平方根を取った指標で、小さいほどよい。TVDが閾値を下回る問いを区別するAUROCは0.736と0.730で、この差は統計的に有意ではなかった。AUROCは識別能力の指標であり、人間の行動の正答率ではない。[4]

製品の「High」区分では、評価集合の95%がTVD 0.16未満だった。「Low」では38%だった。0.16という基準は、社内14人による約2,750件の判断を使って選ばれた。同社も外部評価者や評価対象の拡充で基準が変わり得ると説明している。

したがって、この95%は「各人の行動を95%当てる」「政策が95%安全」という意味ではない。集団の全体分布が近くても、少数集団の重大な不利益は見落とせる。新しい国、制度、長期の相互作用でも同じ校正が保たれるかは、用途ごとの確認が必要になる。

速くなった調査と、まだ測っていない成果

CVS Healthの事例は、薬剤師へのアクセス、待ち時間、説明の分かりやすさ、処方薬の補充やサービス利用の意向を扱う。シミュレーションで候補を絞り、後続の実地試験を優先する使い方だ。補充意向の改善と、実際の服薬、健康状態の改善は別の成果である。[9]

CVS白書には、過去の既知結果との一致が「最大95%」という記述もある。ただし、比較件数、分母、一致の定義や信頼区間は示されていない。すべての患者や施策に適用できる精度として使えない。紹介される約290万回答・40万人超という規模も学術研究のデータと重なり、全員が新しく集めたCVS患者だと解釈する根拠はない。[9][10]

Itaúでは、ブラジルの定期支払い機能Pix Automáticoについて、信頼、理解、制御感、利用意向を調べた。自社の顧客類型に基づく模擬集団を使い、通常5週間の研究を4営業日、2週間の概念探索を3時間未満に短縮したと報告する。高いconfidenceと対象集団の代表性を見て結果を重く扱い、低い場合は直接調査へ回した。[11]

これは調査過程の速度を示す事例だ。顧客の資産や幸福が増えたという測定結果ではない。質問の設計、解釈、最終判断は研究者が担った。現段階で参考にしやすいのは、シミュレーションと人間の調査をどの順序で組み合わせるかという実務である。

出典と主張の対応

• [1] Simile公式サイト：創業者の役職、研究と現在の製品の位置付け。
• [2] The Simulation Company：事業の構想。
• [3] Announcing Simile’s Series B（2026-07-30）：会社発表の資金調達、規模、80億人というミッション。
• [4] Building confidence in Simile（2026-08-25）：入力・分布、Qwen3.5-27B図、TVD、評価分割、誤差予測とconfidence区分。
• [5] Building the What-If Machine（2026-09-02）：行動・自己報告・実験の併用、公開範囲。
• [6] Generative Agents：架空25エージェント、記憶・reflection・planning、もっともらしさの評価。
• [7] LLM Agents Grounded in Self-Reports（v3、2026-06-28）：1,052人、GSSの生値と正規化値、経済ゲーム、限界。
• [8] Finetuning LLMs for Human Behavior Prediction in Social Science Experiments（EMNLP最終版）：Socrates、170/40分割、26.3%のWasserstein誤差減少。公開成果物。
• [9] CVS Health x Simile：アクセス・待ち時間・補充意向と後続検証。
• [10] CVS公開白書：研究由来の検証とCVSでの適用、最大95%の記述と開示不足。
• [11] Itaúの事例（2026-09-11）：5週間から4営業日、confidenceに応じた人間調査。