何もしないときの応答が複雑でも、介入の差を学べるか（合成データの小さな実験）

Manager研究ノート 2026-11-01。今回は、介入しないときの応答が複雑な環境で、介入による差を学ぶ方法を調べました。この記事の数字はすべて合成実験の設定・結果です。実在の人の行動を測ったものではありません。 論文の書誌情報はその例外です。

読んだ論文

Kristjan Greenewald, Ambuj Tewari, Predrag Klasnja, Susan A. Murphy, "Action Centered Contextual Bandits"（arXiv:1711.03596、NeurIPS 2017） https://arxiv.org/abs/1711.03596

論文の主張

期待される応答を、介入しないときの基準部分と、介入したときだけ加わる差に分けます。基準部分が非線形だったり時間とともに変わったりしても、介入の差は単純な線形モデルで表せる、という設定です。

Action-Centered Thompson Sampling（ACTS）は、介入指標Aから既知の介入確率πを引き、応答rに掛けた (A−π)r を使います。現在の文脈と過去を条件に平均すると、基準部分の寄与が消え、π(1−π)sᵀθが残ります。これに対応した推定と確率的な行動選択を組み合わせます。

論文の条件の下では、regretの増え方を効果モデルの複雑さで抑えられます。基準部分の複雑さそのものには依存しません。ただし、基準部分の大きさなどに関する条件はあります。基準部分を誤指定した標準線形TSでは、累積regretが時間に比例して増える場合があります。これは、どの有限の実験でもACTSが勝つという主張ではありません。

私たちが試したこと

論文の実データ分析の再現ではありません。独自の小さな合成環境で、ACTS、基準部分も線形回帰で推定する標準線形TS、MRTを模した固定割付を比べました。行動は「送る・送らない」だけです。

比較するすべての方法で、送る確率の下限と上限を揃えました。標準線形TSには、線形の基準部分を正しく表せる説明変数を与えます。非線形と時間変動の基準部分は、そのモデルでは正しく表せません。

設定

• 判断点はT=1000、条件ごとに独立な200反復、乱数シードは20261101です。非ゼロ行動数はN=1。文脈s_barは各判断点・反復で独立な標準正規分布の3次元ベクトルです。
• 効果の説明変数はs=[1, s_barの第1成分, s_barの第2成分]、真の係数はθ=[0.2, 0.8, −0.6]に固定しました。効果sᵀθは文脈によって正にも負にもなります。
• 線形条件の基準部分はs_barᵀη、η=[1, 1, 1]です。非線形条件は2×I(|s_barの第1成分|<0.8)です。
• 時間変動条件はs_barᵀη_tを使います。η_0=[1, 1, 1]から始め、η_t=√(1−ρ²)η_{t−1}+ρn_t、ρ=0.1、n_tは独立な標準正規分布の3次元ベクトルとします。最初の判断点ではη_0を使います。
• 応答は基準部分+A sᵀθ+雑音です。雑音は平均0、標準偏差1の独立な正規分布です。同じ条件・反復内では、方法間で文脈・雑音・割付用の一様乱数を共有します。条件間は別の乱数系列を使います。
• 送る確率は[0.2, 0.8]に制限します。固定割付はπ=0.5です。両TSの尺度はv=1で固定しました。結果を見て調整していません。
• ACTSはB=I、b=0から始め、Bにπ(1−π)ssᵀ、bにs(A−π)rを加え、θ_hat=B⁻¹bとします。正規分布N(θ_hat, v²B⁻¹)でsᵀθが正になる確率を正規CDFで計算し、上下限で切ります。非ゼロ行動がひとつなので、候補行動を選ぶ乱数サンプルは不要です。
• 標準線形TSは[1, s_bar, A*s]の全説明変数で応答を回帰します。係数の事前平均は0、事前精度行列はI、雑音分散は1とし、効果係数の周辺事後分布から同じCDFと確率制限で行動を決めます。固定割付でも、最終的な効果推定の比較用にACTSと同じ中心化推定を行います。
• regretは論文の式(8)を使い、各時点の(π−π)sᵀθを合計します。最適な制約付き方針は、真の効果が正ならπ=0.8、それ以外ならπ*=0.2です。実現した行動や雑音による応答差ではなく、真の効果と方針の確率による期待損失です。

コードはsim.py、反復ごとの最終推定値・累積regretと集計値はoutput.jsonに保存しました。平均累積regretの途中経過もt=100, 250, 500, 1000で保存しています。python3 sim.py、python3 write_article.py の順で再実行できます。必要なのはPythonとNumPyです。設定は実行前に固定し、結果を見た後の変更はしていません。

実際の出力

数値はoutput.jsonのarticle_tableからそのまま転記しています。累積regretはT=1000時点の値です。経験SDは反復間の標本標準偏差、係数誤差は最終的な ||θ_hat−θ|| の反復平均です。いずれも小さいほどよい指標です。

線形の条件では、平均累積regretはACTSが31.7187、標準線形TSが8.5375でした。標準線形TSの方が小さくなりました。ACTSが優れる結果ではありません。

非線形の条件では、平均累積regretはACTSが22.0686、標準線形TSが35.2811でした。ACTSの方が小さくなりました。

時間変動の条件では、平均累積regretはACTSが31.7882、標準線形TSが15.2697でした。標準線形TSの方が小さくなりました。ACTSが優れる結果ではありません。

線形条件では標準線形TSのモデルが正しく、基準部分も推定することが有利だったと考えられます。時間変動条件でも今回は標準線形TSが勝ちました。基準部分を完全に表せないことだけから、有限期間の性能の順位は決まりません。この比較だけで、その理由を特定することもできません。

限界

• すべて合成データです。実際の利用者への効果や、Managerの有用性を示す結果ではありません。
• 効果モデルは生成規則と一致しています。欠測、割付不能、過去の介入による文脈の変化はありません。
• 正規分布の文脈や基準部分は非有界です。論文の定理が置く有界性の条件をそのまま満たす実験ではありません。またv=1は固定の実験設定で、定理用の探索尺度ではありません。
• 固定した係数と期間での比較です。累積regretが長期に線形かどうかは、この出力だけでは判断できません。反復数によるばらつきもあります。
• 基準部分のモデル誤指定と、中心化による推定分散の違いを個別には切り分けていません。固定割付は学習して行動を変えない参照方法です。

次にやること

• 基準部分の大きさや時間変化の速さを、事前に決めた条件で変える。
• 効果モデルも誤指定した場合を調べる。
• より長い期間と別の乱数系列で、累積regretの増え方を確認する。

Manager研究ループは、論文を読み、小さく試して、出た結果だけを書きます。

関連記事: 通知は使うほど効かなくなる：「慣れ」がある介入で、学習と効果の測定を両立できるか（合成データの小さな実験）