AIのニューロンは、思ったより読めるのか。Goodfireの「Already Clean」を読む

GoodfireのNick Cammarataは、ニューラルネットのニューロンを直接調べる研究に、従来考えられていた以上の可能性があると主張している。指定された研究エッセイ『Neural Networks Are Already Clean』は、解釈しにくさの原因を再検討するものだ。著者自身がworking hypothesisと位置付けている。[1]

ここでいうcleanは、安全性や学習データの清潔さではない。内部の計算単位に、人間が調べて理解できる規則性がある、という意味で使われている。この記事はモデルを独立再現した実験報告ではなく、一次資料を読んだ解説である。

何が争点なのか

人工ニューロンは、入力の数値に重みを掛けて足し、活性化関数などを通す計算単位である。実際のモデルで、あるユニットがどんな入力に強く反応するかを集めると、その働きの仮説を立てられる。

ただし、一つのユニットが一見無関係な入力に反応することがある。これはpolysemanticity、多義性と呼ばれる。説明の一つがsuperposition、重ね合わせである。多数の特徴を、限られた次元の中で重なり合う方向として表す、という考え方だ。[2]

この考え方に基づく手法には、Sparse Autoencoder（SAE、スパースオートエンコーダー）がある。元のアクティベーションを、少数だけが活性化する多数の特徴へ分解し、そこから再構成する別のモデルを学習する。SAEの特徴と元のニューロンは同じものではない。[3]

Cammarataは、従来の代表的な観察の一部が、重ね合わせの証拠として誤読されていたと主張する。測定方法やモデルの学習状態を調べ直せば、元のニューロンを直接理解できることが多い、という提案だ。これは重ね合わせの数学的可能性や、すべての実モデルでの存在を否定した証明ではない。

猫と車に反応するニューロン

記事では、画像モデルInceptionV1のニューロン4e:55を取り上げる。猫の顔と車の前面に反応することで知られ、無関係な意味の混在と読まれていた例である。

著者は、両者に共通するV字状の形で説明できると再解釈する。上流・下流の接続、尖った形への反応、丸い形が反応を負方向へ動かすことを調べる。人間の「猫」「車」というラベルだけを見ていると、共有された形を見落とす、という例だ。[1]

特徴可視化にも注意が必要になる。これはユニットの反応を高める画像を最適化で作る方法だが、反応を上げやすい経路へ偏ることがある。記事は、犬が多く見える合成画像を、そのユニットの働き全体と取り違えた例を検討している。実際に強く反応する自然画像や回路の接続とも照合する必要がある。

小さいモデルは、無関係な意味を詰め込むのか

記事は、同程度のパラメータ数・同じデータで、残差接続やLayerNormなどを備えた画像モデルを比較している。ツールの改善、再学習、アーキテクチャの変更は、別々の比較として読む必要がある。

著者の評価では、元のInceptionV1の最終層は昔の道具で約0〜5%、改善した道具では約50%、同じ構造を現代的な正則化で再学習すると約70%、同程度のサイズのConvNeXtでは約99%が解釈可能だったという。冒頭では改良後の最終層について99〜100%とも表現している。[1]

これは標準ベンチマークによる普遍的な解釈可能率ではない。比較条件と著者の判断基準に依存する数値であり、画像モデルの結果を、そのままLLM全体の理解率に読み替えることはできない。

関連した反応が枝分かれする、という仮説

著者はrecursive generalization、再帰的な汎化という説明を提案する。学習の途中で反応する対象が関連した方向へ広がり、その先でもさらに広がる、というものだ。

記事では「iy」に反応するニューロンが「diy」、さらに綴りにiyを含まない「do it yourself」にも反応するようになった例を挙げる。また地質に関わるニューロンが、地理関連のJavaScriptライブラリCesiumにも反応する例がある。[1]

最終的な反応例だけを並べると無関係に見えても、学習経過や回路を追えば関係が分かることがある、という主張である。すべての多義性をこの仕組みで説明できると独立に確立したわけではない。

Qwenのニューロンでは、何を見つけたのか

言語モデル部分にはCurt Tiggesも貢献している。記事はQwen3-32Bの予備的な調査について、ニューロンの正負それぞれの側を含む評価で、約90%に主な役割が一つ、約7%に関連する役割が二つ、約2〜4%は未理解と報告する。丸めた概数であり、厳密な内訳として合計する数字ではない。[1]

記事内には、Qwen3-32BとQwen3.6-35B-A3Bの1,000件のニューロン調査を閲覧する構成もある。著者は、弱い反応まで含めるか、何を一つの役割と数えるかで数字が変わると明記する。「AIの思考の90%が解明された」という意味ではない。

特に具体的なのが、Qwen3-32BのL1/N20736である。反応上位の文章だけを見ると、新約聖書のColossiansへの言及が並び、その語の検出器に見える。しかしSwiGLUの内部を分けて調べると、ロシア関連の語を完成させるトークンへの反応という説明になる。[1]

SwiGLUでは、ゲート側と値側を掛け合わせる。ゲート側は単純な0/1のスイッチではなく、負にもなり得る。負と負の積は正になるため、正の出力だけを集めた一覧には、異なる計算状態が混ざる。記事はこれをdouble-negative regimeとして調べている。ここでいう値側はMLP内の分岐であり、AttentionのVと混同しない。

この例は「表示された出力の上位だけでニューロンに名前を付けると、計算の途中を見落とす」という教訓になる。

どのように説明を確かめるか

反応する文章を集め、共通点の仮説を立てる。次に、仮説が正しければ反応するはずの入力と、似ているが反応しないはずの入力を試す。接続元・接続先のユニットも調べ、必要に応じてアクティベーションを変えたり、回路を除去したりして出力への影響を測る。

観察された相関と、モデル出力への因果的な寄与は区別する。内部介入の結果があっても、介入の強さや他の入力での副作用を確認しなければ、自然な推論時の役割全体を確定したことにはならない。

どこが重要で、何がまだ残るか

提案が広い範囲で再現されるなら、元のネットワークを直接調べる研究へ、より多くの労力を向ける理由になる。AIエージェントで仮説・実験・接続の調査を繰り返し、多数の回路の説明を相互に確かめる構想も示されている。

一方、この記事はworking hypothesisであり、言語モデルの実験の詳しい説明は技術的な続編へ委ねられている。数例の説明の成功、ニューロンの解釈可能率、ネットワーク全体の予測能力や安全性は別の評価対象だ。独立した追試、評価基準、未調査入力、介入の特異性などの検証が必要になる。SAEを含む別手法との比較も残る。

マネージャーとの接点

マネージャーで将来、行動予測モデルが運賃や年齢へどう反応するかを調べる際、内部の分析は仮説を作る手段になる。ただし、自然言語でモデル自身に理由を尋ねた回答と、内部機構を実験で調べた結果は区別する。

さらに、モデル内での因果関係と、社会への介入の因果効果も別である。内部のニューロンを変えて利用予測が動いても、現実の運賃を下げれば利用者が増えると実証したことにはならない。内部解析には通常、重みやアクティベーションへのアクセスが必要であり、外部APIの応答だけで同じ分析ができるとは限らない。

出典と確認範囲

2026年10月18日時点の原文に基づく解説で、実験の独立再現ではない。社会的反応の規模を定量測定した記事でもない。

1. Nick Cammarata, Neural Networks Are Already Clean. 言語ニューロン研究にCurt Tiggesが貢献。working hypothesis。
2. Elhage et al., Toy Models of Superposition, 2022. 小さなモデルでの重ね合わせを扱う先行研究。
3. Bricken et al., Towards Monosemanticity, 2023. 辞書学習による分解を扱う先行研究。