過去の勝者は、なぜ未来の勝者ではないのか

Anicca Research / Manager Masterclass P11-5 / 2026年11月7日

過去のデータで最も儲かりそうな戦略を選んだ。グラフは右肩上がりで、平均リターンも高い。いよいよ本番に投入するべきだろうか。

その戦略は、過去に何百もの候補を試した結果、偶然勝ち残っただけかもしれない。

行動モデルを未知の文化や市場へ移す時にも、同じ問題が現れる。過去の環境で当てられたことと、新しい環境で役立つことは別なのだ。

学習集団と利用集団は違う

機械学習では学習分布 \(P_{\rm train}(X,Y)\) と適用先 \(P_{\rm target}(X,Y)\) が違うことをDistribution Shiftという。特徴量の割合だけが変わるCovariate Shiftもあれば、同じ特徴から結果へ至る関係そのものが変わるConcept Shiftもある。

例えば、ある習慣支援について、集団Aでは介入効果+30ポイント、Bでは+10ポイントだったとする。元研究のA/B割合が各50%なら平均効果は+20ポイント。適用先のAが20%、Bが80%なら、効果修飾因子が十分観測され、条件付き効果が移植可能という強い仮定の下で、

適用先の平均効果は ATE_T = 0.2 × 0.30 + 0.8 × 0.10 = 0.14 と計算できる。

と計算できる。元研究の平均効果をそのまま当てはめると誤る場合がある。

150戦略から「最高」だけを選ぶ

私たちは完全人工の試行を作った。全戦略の真の期待リターンはゼロ。150戦略について過去24期間の成績を作り、最高のものを選んでから、独立に生成した未来24期間を評価した。

乱数を固定した演習では、選ばれた最高戦略の過去平均は+0.537（正規化した任意単位）だった。しかし同じ戦略の未来平均は約−0.0365、架空の取引費0.03を差し引くと−0.0665になる。

これがMultiple TestingとBacktest Overfittingの危険性だ。最高の過去スコアを探す行為自体が選択バイアスを生む。Baileyらは、この問題をProbability of Backtest OverfittingやDeflated Sharpe Ratioとして研究している。

人間行動モデルへの教訓

金融市場に限らず、研究者がたくさんのプロンプト、ハイパーパラメータ、エージェント構成を試して、テストセットで最高の結果だけを発表すれば同じ誤りが起きる。

未知の人、別の文化、未来の時期に対する独立評価を守ること。データを使い回したら、それを訓練やモデル選択に使ったこととして記録すること。金融なら手数料、流動性、大きな損失のリスク、法的な権限も必要になる。

Managerが領域を広げるとき、重要なのは「何でもできる」と宣言することではない。分布が変わると何が壊れるかを、先に測ることだ。

主な一次資料

• Arjovsky et al. (2019), Invariant Risk Minimization
• Bailey et al., Probability of Backtest Overfitting
• Bailey & López de Prado, Deflated Sharpe Ratio

注：150戦略・0.537・−0.0665の数値はすべて人工データで、実市場の取引や利益を示さない。