行動AIの最重要ベンチマークは、現実に役立ったか、害を生まなかったか

Introducing Manager · 2026年11月5日 · P07-6

AIの生成した文章が自然だった。通知をクリックしてもらえた。瞑想時間が2倍になった。

しかし、その人は本当に望む生活に近づいたのだろうか。そして、睡眠、仕事、人間関係、苦痛、自律性に悪い影響はなかっただろうか。

Managerが作りたいのは、行動を理解・予測し、本人が望む目標を支援するモデルとプロダクト。だからベンチマークにも、モデルの答えだけでなく実際の結果と害を含める必要がある。

成功指標を分ける

既存の尺度を再発明しない

WHO-5は過去2週間の主観的Well-beingを5項目で測定する。各回答0〜5点、合計を4倍して0〜100点。数値の計算は簡単だが、WHOの公開文書はCC BY-NC-SA 3.0 IGOであり、営利のアプリが質問文を自由に転載できるわけではない。使用権の確認が必要だ。

WHOQOL-BREFは身体・心理・社会関係・環境を含む生活の質、PROMIS Global Healthは全般的な身体・精神的健康を扱う。FFMQはMindfulnessの5つの側面、PTQは反復的否定思考を測る。尺度は互換的でなく、それぞれ版、対象、利用条件が違う。

「独自に質問を5個作った」だけでWHO-5と同じ心理尺度を作れたわけではない。Managerが導入した0〜10の負担・自律性などの初期記録は、未検証の製品内部の参考指標と明記する。

瞑想にも有害事象がある

これは瞑想を否定する話ではなく、製品としての安全性を正しく確かめるための事実である。

2020年の83研究・6,703人の系統的レビューでは、有害事象の推定割合は全体8.3%、実験研究3.7%、観察研究33.2%と大きく異なった。

2017年のLindahlらのVCE研究は、望ましくない可能性のある瞑想関連経験を59種類・7領域に整理した。同じ経験でも、本人にとっての意味や生活への影響は違う。

2022年のBrittonらのMedEx-I研究では、積極的な聞き取りによって、96人のうち37%で機能への負の影響が報告された。2025年のVan Damらの886人の横断調査では、9.1%が有害事象に関連する生活機能への支障を報告した。

これらのパーセントを単純に合算・平均して「瞑想の危険率」を求めることはできない。対象、経験の定義、質問方法、実践期間、調査のデザインが異なるからだ。

害の報告がないことは、害がなかった証拠ではない。 自発的な苦情だけに頼らず、本人の適切な同意の下で、有害事象の有無、持続時間、苦痛、生活への支障、停止希望を能動的に尋ねることが重要だ。

P07-6で作ったManagerのコード

products/manager/manager_core/p07_6_welfare_safety.pyは、本人が自分で選んだ目標、同意、撤回、生活機能、自律性、負担、苦痛、睡眠や日常生活への支障を分けて扱う。

返り値はMEASURE_ONLY（非診断の観察のみ）、NO_ACTION（介入しない）、STOP（中止）、STOP_AND_REFER（介入を停止して適切な専門的支援への案内が必要）のいずれか。どの結果でも外部への自動通知や医療介入は実行しない。

WHO-5の数値採点は権利確認がなければ拒否し、正式な項目文はコードに収録しない。既存のHeartSteps分析で見つかった問題に対応し、RCTのランダムな割付と、実際に通知が配信されたかを別の変数として扱う。

介入の「予測」と「因果効果」を混同しない

ある人が明日瞑想する確率を予測することと、明日通知を送った結果どれだけ瞑想する確率が増えるかを推定することは違う。

RCTでは最初の割付に基づく分析（ITT）を検討する。本人が読まなかった通知を「読んだ人だけ」で分析すると、元から行動意欲の高い人だけを数えてしまう危険がある。

無作為割付Zを使う場合、概念的な平均差はE[Y|Z=1]−E[Y|Z=0]。ただし欠測・逸脱・割付設計・追跡・干渉を確認しなければ、単純差から確かな効果を宣言できない。

Word list・FAQ

Primary outcome：介入前に固定する最も重要な結果。

Well-being：主観的な精神的健康・活力・満足の側面。

Functional impairment：仕事や睡眠、家庭など日常生活への支障。

Adverse event：望ましくない経験。因果関係は別に評価する。

Active monitoring：害を自発的な苦情だけでなく積極的に聞き取る。

ITT：介入の配信でなく最初の無作為割付による比較。

QALY：健康状態の質で重み付けした生存年。

Q. WHO-5が改善したら解脱を証明できる？ いいえ。現代のWell-being尺度は伝統的な解脱の認定器ではない。

Q. 瞑想の不快な経験は全部有害事象？ 発生、持続、苦痛、生活機能への支障、本人の判断を区別する。ただし苦痛を「智慧の進歩」として無理に正当化しない。

Q. 今回のソフトは実人間で有効？ いいえ。動作・権限・停止を確認したソフトウェア契約で、効果検証は別。

Q. 次の仕事は2つある？ いいえ。講義・製品モデル・評価・発信はManagerの唯一のロードマップに統合する。

詳細なP07-6講義

Managerは、人間の行動を理解して実際に役立つことを目指す。役立たなかった結果と、悪影響の可能性も、成果と同じ重さで公表する。