SOTAの数字より、第三者が再計算できる「失敗」を公開しよう

Anicca Research / Manager Masterclass P12-1 / 2026年11月7日

AIモデルの論文には、目を引く数字が並ぶ。正答率90%、従来比20%改善、未知の環境でも高精度。そこで少し想像してみてほしい。別の研究者が同じ論文を読み、コードを取得し、同じデータで計算したら、数値が再現できなかったらどうなるだろう。

そして、別の問題もある。同じ数字が再現できたとして、それだけで、まだ会ったことのない人間の行動を正しく予測できると言えるだろうか。

私たちが行動予測AI「Manager」を研究する中で、Phase 12の最初に置いた問いはこれだ。何を示したかだけでなく、他者がどの条件で検証・反証できるかを公開する。

「再現できた」という言葉には段階がある

同じチームが同じコードとデータで再実行できた。これは有益だが、第三者による独立再現ではない。

別のチームが著者から提供された実験資料で主要結果を得た。これはACMのArtifact Evaluationでいう「Results Reproduced」に近い。さらに、別のチームが著者の提供物に頼らず結果を独立に検証すれば、「Results Replicated」に近づく。

ACMはプログラムやデータを「公開した」「動いた」「再利用できる」「結果が他者にも確認された」ことを別々に評価している。コードがGitHubにあるだけでは、どのレベルも無条件には保証されない。

最大の落とし穴：同じ人物が学習にもテストにもいる

例えば、100人がそれぞれ100回ずつ行動を選んだデータを想像しよう。全1万件をランダムに75%学習・25%評価へ分けると、一人の回答が両方に入る可能性が極めて高い。

モデルが「この人はAを選びがちだ」という個人固有の癖を覚えていれば、未知の試行は当たるかもしれない。しかしそれは未知の人物を予測できたことではない。

だから、未知人物を示すなら人物IDで分割する。未知研究なら研究ID、未知文化なら言語・地域・文化と翻訳由来、未知未来なら評価時点で分けなければならない。scikit-learnのGroupKFoldも同じグループを学習とテストへ重複させないために設計されている。

小さな「内部再現」を実際に行った

前段階のManager Masterclassでは、人工的な2状態・2行動のオフライン意思決定データを20,000件生成し、IPSとDoubly Robust（DR）で新しい方策の価値を推定した。真の期待値は、私たちが生成器へ設定した0.435である。

今回、元のOPE評価関数を呼ばずに、別の計算式と加算方法で同じ人工ログを検算した。元のDR推定値は約0.4353910556、別方式の結果も約0.4353910556だった。差は数値丸めの範囲に収まった。

さらに、元の勾配降下法ではなく、グループごとの対数オッズから別の推定量を計算し、人工の2領域で共通モデルが専用モデルより悪化する「負の転移」を確認した。同じ人物がtrain/testに混ざる分割はコードが拒否するようにした。

37件の単体テストが通った。だが、ここが重要だ。これはあくまで同一チーム内での、完全合成データに対する別計算法による検算である。外部研究者による独立追試でも、実人間の行動予測性能でもない。

本物の行動Foundation Modelなら、何を公開するべきか

CentaurのNature論文はPsych-101の160実験、60,092人、1,068万件超の選択から学習したモデルを公開している。ただし、公式testデータはgatedであり、利用条件がある。BehaviorBenchも公式の評価コードを公開しているが、コードのライセンスがデータやモデル重みの利用許諾と同じとは限らない。

研究者が本当に必要とするのは、論文の一行のSOTAスコアよりも、モデルとデータの版、学習・評価分割、指標の定義、失敗した出力の割合、乱数Seed、依存環境、元コード、再現手順だ。Model CardとDataset Cardに、モデルの用途と限界、データの来歴・偏り・利用権を記録する。

また、個人の反応を当てたことと、介入によって人の苦しみが減ったことは別の証拠として扱う。

科学的に強い企業の発信とは

「自社AIが世界一」と宣伝する記事は簡単に書ける。しかし、どの環境では強く、どの環境では弱く、どんな条件では推定できないかを公開する方が難しい。

私たちは、再実行できるコード、失敗事例、汎化の限界、データ権利、独立検証の状況まで示す研究メディアを目指す。

最高のベンチマークは、誰でも勝者を再計算できるベンチマークだ。そして、勝てない条件も隠さないベンチマークだ。

一次資料

• ACM 2026 Artifact Evaluation
• NeurIPS Reproducibility Checklist
• Centaur, Nature (2025)
• BehaviorBench official evaluator (2026)
• scikit-learn, GroupKFold / Grouped CV
• Hugging Face Model Cards
• GitHub Artifact Attestations

方法論上の境界：本稿の0.435、同等値の検算、37件のテストは自己作成した人工データの結果である。第三者の独立再現・Centaur/Be.FM実モデルの同条件評価・Managerの実人間への便益は実施していない。