100万人の人工人口より先に、データの権利と分割を検査する

Anicca / Manager Research — 2026年11月3日

人間の反応を予測するモデルを育てたいとき、モデルを大きくする前に決めておくべきことがある。何を正解として学び、どの資料を使用でき、どの新しい人や環境を未見のテストとして残したのか。 これを曖昧にしたまま、モデルへ大量のデータを与えても、後から性能を証明するのは難しい。

一つの「データ」には別々の五層がある

1. 原資料：実際の調査・観測・介入の記録と、出典・同意・ライセンス。
2. 前処理：回答の除外、欠測の扱い、選択肢の統一、個人単位の重複処理。
3. 予測時点の入力：その時点ですでに分かっていた特徴・プロフィール・履歴。
4. モデルの出力：生の選択、確率、拒否、出力形式の失敗。
5. 独立した正解と採点：後から観測した行動や未見の回答、どの条件で計測したか。

公開コードを実行できても、そこに使われる人間の原データや専有モデルの重みが公開されているとは限らない。実際に、Artificial Societies Benchmarkの公開結果の再構築と、元の人間個票を使った新しい予測実験は、異なる工程だ。

「公開されている」と「商用学習に使ってよい」は別

データセットのライセンス、コードのライセンス、質問票や画像などの権利、APIの利用規約をそれぞれ確認する。例えば、SimBenchのデータには非商用条件がある。研究目的での実験と、収益化する製品へそのまま学習データとして使うことは同義ではない。

また、APIキーを持っているだけでは競合サービスのベンチマークを公開する許可にはならない。PersimmonとAmpersandの現行の公開規約には、競合比較目的の利用に制限がある。コードの公開条件と、プロバイダーから許可された研究内容を分けて管理する。

40人×3回の架空回答で、データリークを見てみた

教材用に40人の架空利用者を作り、各人の回答を3回ずつ記録した。合計120行である。

この120行を75%／25%でランダムに分割すると、学習側とテスト側の両方へ25人が出現した。しかし人物ごとに分割すると、学習側30人、テスト側10人となり、重複は0人になった。

これはどちらの分割が常に最良か、という話ではない。「初めて会う人への予測」を測りたいなら、未見の人物を残さなければならないという話だ。

一方、既知の人の未来を予測したい研究なら、その人の過去の記録を使ってよい。ただし予測時点より後の情報を混ぜてはいけない。新しい介入の効果を試すなら、研究や実験条件を単位として分ける必要がある。

SHA-256でデータの同一性を記録する

原資料のファイルは、URLだけでなくハッシュを保存する。

from hashlib import sha256
from pathlib import Path
raw = Path("example.csv").read_bytes()
fingerprint = sha256(raw).hexdigest()
print(fingerprint)

これにより「どのバイト列を使ったか」を追跡できる。ただし、ハッシュはその資料を利用する許可や、内容の正しさまで保証しない。

加えて、元資料の取得日、除外基準、人物と研究の分割ID、質問文、予測時点、モデル・コードの版、無効出力数を記録する。評価データを学習・プロンプト・設計調整へ混ぜないことが重要だ。

今回、架空120行を扱う監査コードの11テストを成功させた。検査したのは、同じイベントの二重登録、未来の特徴量、分割後の人物の重複、用途とライセンスの整合性など。架空データへのテストであり、実際の人間のモデル精度を示すものではない。

行動モデルの1.0で優先すべきこと

大量の人工人口や複雑なモデルを先に公開するより、「どの人の何を予測し、なぜその資料を使い、どの未見テストで比較したか」を説明できることを重視したい。

人間の回答分布を予測する能力、実際の行動の予測、介入による変化の推定、運営エージェントの利益は、対応する正解データと評価条件が違う。それらを単一の点数へ混ぜず、モデルの得意な条件・不得意な条件を示す。

データの品質は「欠測が少ない」「行数が多い」という単純な話ではない。目標に合っているか、権利があるか、検証できるか、再現できるかまで含めた問題なのである。

参考資料

• Artificial Societies Benchmark
• SimBench
• scikit-learn: Cross-validation
• 元実験のデータ例：Harvard Dataverse
• Persimmonの利用規約
• Ampersandの利用規約