人間の行動を変えるベンチマークは、もう存在した。実際に動かしてみた。

Introducing Manager · 2026年11月6日 · 実際の人間、実際の介入、実際の結果。

AIが「少し散歩しませんか」と言う。文章は自然だ。タイミングもよさそうだ。ユーザーが「ありがとう」と答えるかもしれない。

しかし、その人は本当に歩いたのだろうか。

Aniccaが作るManagerは、人間の行動を理解し、本人が望む結果を支援するためのAIモデルであり、プロダクトである。研究のために存在するのではない。使って役に立ち、その役立ち方を確かめるために、科学とモデル評価を使う。

そこで重要になるのは「AIがどれほど説得力のある文章を作るか」ではなく、何を変えれば、どんな人が、どれほど改善するのかという問いだ。

方法上の訂正（2026年11月6日）： 初回のHeartStepsの+12.95歩は記述的な差であり、ITT（割付に基づく解析）や介入の因果効果ではない。公開データのsendは無作為化時点の割付ではなく、後から補正された配信状態である。自社の6,590件の対象レコードは、原著が解析した6,061介入可能判断時点と一致しない。原著の調整済み結果は平均約35歩増加（p=.06）だった。原因の異なる差を同じ指標として扱わない。 元研究・データ構築コード。

これを評価するベンチマークは自分たちで作るしかないと考えていた。しかし調べてみると、先人たちはすでに多くの構成要素を実装していた。

1. HeartSteps：実際に通知を送り、30分後の歩数を測った

HeartSteps V1は37人が参加した6週間の行動変容実験である。参加者が介入可能な時点で、通知なし40%、歩行を促す通知30%、座り続ける行動を中断する通知30%を無作為に割り当てた。通知後の歩数は実際のトラッカーで測定されている。

公開された元データには8,274件の意思決定時点がある。今回、無料のGitHub Actions上で分析コードを実行し、介入可能とされた6,590件のうち、補正後の通知配信状態と次の30分のJawbone歩数が観測できる記録を記述的に比較した。

因果効果ではない記述的な結果は通知配信あり−なし＝+12.95歩。参加者単位のBootstrapによる95%区間は−16.99〜+39.43歩だった。歩数の欠測率は通知なし約11.6%、通知あり約12.2%である。

これは著者らの調整済み因果効果推定の完全再現ではない。単純なcomplete-case比較であり、欠測による偏りを除外できず、区間もゼロを含む。したがって「通知が有効」「通知は無効」のいずれも断言しない。重要なのは、人間が実際に歩いたかどうかを評価する既存の科学的データが使えたという事実である。

元データ / 原著論文 / 再現実行ログ

2. RCT Bench：50試験から125試験へ拡張されていた

次に発見したのは、実際の人間を対象としたRCTを共通形式で公開するRCT Benchである。かつて50件だった公開コレクションは、2026年時点で125件の個人単位RCTへ拡張されている。

ここでは、その中から行動と生活に関わる3試験を選び、観測できた結果を再計算した。

Trial 116にはDASSの心理的苦痛も含まれるが、Group 1/2の対応づけを原著に照らして検証する前に「どちらが改善した」とは言わない。また、すべて未調整の探索的計算であり、元論文の解析とは異なる。尺度も対象も違うので数字を合算しない。

それでも、単なるアプリ起動数ではなく、歩行習慣、生活の質、心理的負担というアウトカムを扱う評価基盤を既存の研究から利用できると分かった。

公式公開コレクション / クラウド再計算

3. HBCP：禁煙の介入結果を予測するAIはすでにあった

Human Behaviour-Change Projectは、禁煙に関する405研究・971介入群のRCT情報を、Behaviour Change Intervention Ontology（BCIO）などを使って機械可読に整理した。

論文では、介入内容や対象集団などから禁煙成功率を予測する解釈可能なモデルRuleNNが報告されており、5-foldで平均絶対誤差9.15パーセントポイントだった。

今回、元データを使い、同一研究の介入群が学習・テストの両方に入らないようGroupKFoldで分割し、簡単な3モデルを比較した。

これは原著のRuleNNを再学習した数字ではない。同一の分割・設定を使った対戦結果でもない。再利用可能な既存データで、研究単位の未知データに対してAIの予測性能を確かめられたという、再現可能な出発点である。

HBCP Prediction Tool / 論文 / 実行ログ

4. Managerは研究プロジェクトではなく、役立つモデルとプロダクトだ

今回の学びは「自社ベンチマークの名前を新しくすること」ではない。先行研究を探し、動かし、正しく組み合わせることが、最も速い製品開発だったということだ。

BehaviorBenchは広い行動予測の比較に使える。UpliftBenchは個人差を考慮した介入効果推定の比較に使える。HBCPは介入と文脈の辞書・結果予測を提供する。HeartStepsは実際のランダム化介入とその後の歩行データを提供する。RCT Benchは生活機能・健康・生活の質に関する実試験の共通形式を提供する。

Managerはこれらを再発明しない。既存の行動モデル、COM-B/BCIO、権限付き実行、独立した結果評価を結びつける。

それでも、Manager自身が利用者の生活を改善した証拠は、まだ得られていない。その証拠は、実際の利用者が自ら選んだ目標に対し、適切な同意・比較群・追跡・負担や害の測定を備えた実験で得る必要がある。

「AIが説得した」より「何が実際に変わったか」を優先する。失敗や効果が小さかった結果も公表する。その積み重ねが、役立つモデルを作る。

ManagerのGitHub。実測値はクラウドの公開実行記録からたどれる。

Managerはモデル。ManagerBenchは測定。価値は、ベンチマークの外で生活が良くなって初めて成立する。

注：今回の結果はすべて既存RCTの公開データを用いた再分析であり、Managerが新たに利用者へ介入した試験ではない。