AIに「通知すべきか」を教える前に、過去のログで確かめる

Anicca Research / Manager Masterclass P11-1 / 2026年11月7日

朝7時。ある人が、昨日決めた5分間の散歩をまだ始めていない。AIが「少し歩きませんか」と通知したら、歩き始めるだろうか。

行動予測モデルは「通知の後に歩く確率」を推定できるかもしれない。しかし、その人は通知がなくても歩いていたかもしれない。通知のせいでその日は歩いても、通知が多すぎて翌週にはアプリを使わなくなる可能性もある。

反応を予測することと、どの介入を選べば人にとって良い結果になるかを知ることは違う。 これがPhase 11最初の問いである。

「今の一歩」と「これからの一週間」

強化学習（Reinforcement Learning: RL）では、状態、行動、結果を時間の流れに沿って扱う。今の報酬だけでなく、将来の報酬を合わせて価値を評価する。Bellman方程式の核心は、行動価値が直近の報酬とその後の価値で構成されることだ。

行動価値は Q^π(s,a) = E[R_{t+1} + γV^π(S_{t+1}) | s,a] と表せる。

「通知しない」も重要な行動だ。目先のクリック数だけを目的にすると、利用者の疲労や離脱が見えなくなる。

試していない方策を、どう評価するか

過去のサービスが通知するかどうかを一定の確率でランダムに選び、その確率と結果を正確に記録していたとする。その記録から、新しい方策を実行する前に期待値を推定する方法が Off-Policy Evaluation（OPE） である。

最も基本的なIPS（Inverse Propensity Scoring）は、過去の選択確率と新方策での選択確率の比を重みとして使う。

\[ \widehat V_{\rm IPS}=\frac1N\sum_i \frac{\pi_e(a_i\mid x_i)}{\pi_b(a_i\mid x_i)}r_i. \]

分母にある \(\pi_b\) は、過去に実際に使われた方策の行動確率だ。ここを勝手に推測したり、通知がほとんど選ばれなかった条件を無視したりすると、推定は壊れる。

さらにDoubly Robust（DR）は、結果予測モデルと重み付けを組み合わせる。JiangとLi（2016）は逐次的な意思決定にこの考え方を拡張した。一方CQLやMOPOは、データにない行動をAIが過大評価する問題に対し、保守的な価値推定やモデル不確実性への罰則を提案する。

実際に手を動かしてみた

Manager Masterclassでは、2つの状態、2つの行動を持つ完全に架空の20,000判断時点を作った。過去の通知選択確率も反応確率も自分たちが設定した世界だ。新方策の真の理論値は0.435。独立に実装したIPSは約0.43551、DRは約0.43539を返した。無作為ログのPropensityがずれた場合や、ある行動に全くSupportがない場合は、評価を拒否する。

この一致は実装テストであり、実際の人間に通知したら良くなることを示したものではない。現実では、欠測、未観測交絡、習慣の変化、長期的な負担が加わる。

Managerに必要な境界

Managerが目指すのは「最も反応されるメッセージ」を送ることではない。本人が選んだ目標に対して、何もしないことも含めた選択肢を比較し、害と不確実性を隠さないことだ。過去ログで良い成績の方策が、現実に効果を持つかは別途、適切な同意と比較設計で検証する。

主な一次資料

• Jiang & Li (2016), Doubly Robust Off-policy Value Evaluation
• Kumar et al. (2020), Conservative Q-Learning
• Yu et al. (2020), MOPO
• Kuzborskij et al. (2021), Confident Off-Policy Evaluation

注：上記の0.435等は公開データ・人間に関する成績ではなく、元の確率を自分たちで定めた合成演習の結果である。