メカニスティック解釈性の五つの通説を検証する

長らくメカニスティック解釈性の世界では、悲観的な見方が主流だった。ニューラルネットワークは絡まった結び目であり、中身を理解するには、まず別のモデルに金を払って解きほぐしてもらう必要がある、という考えだ。この信念が研究テーマを方向づけ、スパースオートエンコーダを中心とするサブフィールド全体を支え、LLMの内部を覗くことは無駄な試みだとエンジニアの多くに静かに思い込ませてきた。そうした悲観論を作り出した研究者の一人が、その主張の多くを撤回した。最も強い形の主張を信じるかどうかは別として、モデル内部について自分たちが本当に知っていることを見直すには良いタイミングだ。よくある五つの信念を、証拠に照らして検証してみよう。

通説1：ニューロンは手の施しようがないほど多義的だ

現代の解釈性研究の創世神話の一つが、多義的ニューロンだ。猫の顔にも車のフロントにも反応する一つのユニットがあり、この二つにはまったく関係がないように見える。ニューロンが無関係な概念を日常的に抱え込むなら、ニューロン単位でネットワークを理解しようとする試みは最初から無理だ、という論理である。この例は修辞的に大きな働きをした。「ネットワークは結び目だ」という世界観を正当化する、いわば決定的な証拠品だった。

新しい主張によれば、この証拠品は誤読されていた。有名な車と犬のニューロンの背後にある実際の回路を追跡すると、その特定の組み合わせを下流で読み出しているものは何もなかった。ニューロンは無関係な領域に車の特徴を密輸していたわけではなく、ごく普通の汎化と合成を行っていたのだ。さらに、初期の研究で好まれたモデル生物であるInceptionV1の最終層は、解釈可能なニューロンがほとんどないと見なされていたが、通常のアーキテクチャ上の修正を加えると99〜100％が明確に解釈できることがわかった。モデルのサイズも学習データも変えていない。結び目の多くは、実は測定上のアーティファクトだったということになる。

言語モデルでも、別のスケールで同じパターンが見られる。2023年の監査では、小さなTransformerの中央値のニューロンが解釈可能性の評価基準で0点となり、大規模な自動説明プロジェクトでは、読み取り可能なニューロンは約1.7％しかなかった。より良いツールを用いた最近の予備的な監査では、32Bパラメータの現代的モデルについて、ニューロンの極の約90％は主要な役割が一つ、約7％は関連する二つの役割を持ち、本当に謎のままなのは数％に過ぎないと推定されている。残りの「多義性」も、詳しく見ると消えることが多い。接尾辞と「自分でやる」のような句全体の両方に反応するように見えるニューロンは、無関係なものを抱え込んでいるのではなく、一方から他方へ成長したものなのだ。

私の見立てでは、この通説は死んだが、葬儀は控えめにすべきだ。ある懐疑的なコメント投稿者は、特徴の複雑さが段階的に増すことはCNNの時代から知られており、凝縮された非意味的な表現も他の場所で報告されていると指摘した。「恐れていたほど多義的ではない」は十分に裏付けられている。しかし「まったく多義的でない」は証明されていない。

通説2：重ね合わせ（スーパーポジション）は学習の基本原理だ

重ね合わせは、この混乱を説明するエレガントな理論だった。ネットワークはニューロンが足りなくなると、似たものをまとめるのをやめ、代わりに無関係なものを同じユニットに折り畳んでしまう。高次元空間の幾何学を利用して、互いに干渉しないようにするというのだ。この理論では、どの概念が同じニューロンを共有するかはほとんど意味を持たない。折り畳みは任意であり、同等に良い多くの構成の一つにすぎない。研究するには、まず展開しなければならない。

それに対する反論は、拍子抜けするほど単純だ。学習の原理は一つしかなく、それは汎化である、というものだ。折り畳みに見えたものは、実は再帰的な汎化だった。木の枝が小枝を伸ばすように、ニューロンは派生的な枝を伸ばす。「iy」を検出するニューロンは「diy」へ、さらに「自分でやる」という概念全体へと育つ。どの拡張も隣接する意味領域への拡張であり、ランダムな方向には広がらない。さらに、モデルを縮小しても戦略を切り替えるわけではなく、ニューロンが粗くなるだけだ。一つの「車」ニューロンが、特化するのではなく多くの種類の車をまとめて担当するようになる。300倍のサイズ範囲にわたってスケールさせても、同じ読みやすさが保たれる。ニューロンは分化するのであって、絡まるわけではない。

これが重要なのは、ニューロンのまとまりが持つ意味が変わるからだ。重ね合わせの下では、二つのものに反応するニューロンはノイズにすぎない。再帰的な汎化の下では、それはモデルの概念階層についての仮説になる。なぜそれらが同じ場所を共有しているのかを学ぶ価値がある。また、説明が フラクタル的になりうることも意味する。まず粗いラベルから始め、詳細が必要になったらズームインすればよい。エンジニアにとって、これはヘキサダンプとシンボル名付きのスタックトレースの違いのようなものだ。

候補は二つあった。汎化は似たものをまとめ、重ね合わせは無関係なものをまとめる。この分野は間違った方に賭けたのだ。

熱心な支持者が軽視しがちな注意点も一つ加えておきたい。特徴の数より少ない次元で表現される、という数学的現象としての重ね合わせは、トイモデルではよく確立されている。争点は、実際のネットワークにある典型的な混乱したニューロンを説明する正しい理論かどうかだ。これらは別の主張であり、混同すると、その成果を過大評価するか過小評価することになる。

通説3：何かを見るにはスパースオートエンコーダが必要だ

結び目理論の実践的な帰結は方法論的なものだった。ネットワークそのものではなく、その分解を研究せよ、というわけだ。「展開された」ネットワークを近似するスパースオートエンコーダを学習させ、元のニューロンではなくSAEが学習した特徴を解釈する。これによって、辞書学習、再構成目的、特徴ダッシュボードといったパイプラインの産業が生まれ、Claude規模のモデルから単義的な特徴を抽出したAnthropicの成果のような、本当に印象的な結果も出た。

ただし、SAEのアプローチが前提としていることに注意してほしい。元のネットワークは読み取れず、真実は近似の側にあるという前提だ。ネットワークがすでに整っているなら、この前提は逆転する。ネットワーク自身のニューロンと回路こそが主要な研究対象になり、SAEは良くても圧縮ツールにすぎない。要約には役立つが、要約をシステムそのものと取り違えると危険だ。SAEには固有の失敗モードもある。実際のメカニズムに対応しないのに活性化をうまく再構成する特徴を生み出すことがあり、その再構成誤差は、安全性が重要な分析で確実に問題になるタイプのものだ。

代わりのワークフローは、むしろ通常のデバッグに近い。ニューロンを一つ選ぶ。その最も強い活性化を見て、次に弱い活性化を見る（弱い活性化には情報があることがわかっている。有名な「タイタニック・ニューロン」は、蒸気機関のような時代に近いものにも弱く反応するが、これは混乱ではなく汎化だ）。下流で何に接続しているかを追跡する。Mixture-of-Expertsモデルでは、そのエキスパートが何に特化しているかを確認する。理解は、クロスワードパズルのように積み重なる。一つのニューロンを解読するたびに、その周囲のニューロンが制約される。こうしたことに第二のモデルを学習させる必要はない。

• 一つのニューロンの強い活性化から始め、汎化の境界を見るために弱い活性化を調べる。
• 下流の接続をたどり、実際に出力を読んでいるものを確認する。多くの「謎」はここで消える。
• 周囲の回路やエキスパートの特化を相互確認に使う。プロファイラーで呼び出し元と呼び出し先を見るのと同じ要領だ。
• SAEは、圧縮や検索が必要なときに使うものであり、メカニズムについての正解とみなすものではない。

通説4：小さなモデルが大きなモデルの仕組みを教えてくれる

悲観的な古典的成果の多くは、小さいか単純化されたモデル、たとえば一層のTransformerや初期の視覚ネットワークから得られたものだ。ここには都合の良い皮肉がある。小さなモデルは本当に余裕がなくなるので、その振る舞いを説明する自然な理論として重ね合わせが選ばれた。しかし、余裕のないネットワークは学習の原理を変えるわけではなく、ニューロンが単に広くなるだけだ。広いニューロンは、原始的なツールには任意の混合物に見える。モデルをスケールアップすると、その広いニューロンは分化し、明確で具体的なニューロンになる。

同じ論理はツールにも当てはまる。2023年頃の自動説明器は、仮説を立てて検証するループを回すことができなかった。活性化から仮説を生成し、シミュレーションで採点していたが、これだと正しい説明より、もっともらしく聞こえる説明が評価されてしまう。現代のエージェント型ツールは実際に介入できる。活性化にパッチを当て、ニューロンを無効化し、効果を予測し、結果を確認する。この閉じたループこそが、モデル自体の性質以上に、「1.7％が解釈可能」を「約90％は主要な役割が一つ」へと変えたのだ。文献の多くは、ネットワークではなく自分たちの計測器を測っているのかもしれないことには謙虚であるべきだ。

これは、仕様と稼働中のシステムとのギャップが本当の振る舞いを隠していた別のケースとも似ている。仕様と実装のギャップにバグが潜むのと同様に、解釈性の幻のバグもそこに潜んでいた。モデルの重みは最初から正解であり、それを記述する我々の説明こそがバグのある仕様だったのだ。

通説5：解釈性は作り方を変えない

解釈性の文献を追っていた実務家ですら、それを「安全性研究、関連性は将来いつか」の棚に入れがちだった。しかし、最も強い主張をどう評価するにせよ、今ではそれは誤りだ。ニューロンや回路が読み取れる構成要素なら、それは取っ手になる。推論時に固定し、増幅し、無効化できる操作可能な特徴だ。特徴のステアリング（「真実性」の方向を強め、「追従性」の方向を抑える）はすでに実用的な技術であり、特徴がSAEの再構成アーティファクトではなく実際のメカニズムに対応している場合には、はるかに原理的なものになる。

デバッグにおいては、得られるものは予測可能性だ。モデルが特定の入力クラスで誤動作したとき、現状の実践はプロンプトの考古学と勘に頼ることが多い。読み取り可能な回路は、どの特徴が発火したか、何がそれを読んだか、判断が実際にどこで行われたかを示す、プロファイラーに近いものを与えてくれる。これは振る舞いに基づく手法を置き換えるのではなく補完する。本番環境でモデルの出力を形作るなら、制約付きデコーディングが出力の契約を担い、解釈性は「なぜ」を担う。自律的に動くエージェントについては、内部の可観測性が外部のガードレールでは得られない次元を加える。AIエージェントの封じ込めと監視についてはすでに論じたが、振る舞いだけでなくメカニズムを監視できれば、監視は大幅に強くなる。

もう一つ強調しておきたい含意があり、それはアクセスに関するものだ。この研究プログラム全体は、オープンウェイトに依存している。APIを通じてしか問い合わせられないモデルの回路は監査できない。自律性を増すシステムを信頼するために内部の理解が前提になるのなら（私はそう考えている）、重みの公開は好みの問題ではなく、デバッグという取り組み全体の土台なのだ。

実際に持ち帰るべきこと

誇張を取り除くと、弁護可能な核心は次のとおりだ。ネットワークが任意に絡まっているという古典的な証拠は、再検証に耐えていない。現代のツールで見る現代のモデルは、2023年の文献が示唆したよりはるかに読み取りやすい。そして残された混沌には構造があり、それは解きほぐすのではなく活用できる、フラクタル的な汎化なのだ。強い版の主張、「解釈性はほぼ解決済みで、あとはスケールさせるだけ」は、SAE熱の第一波を見てきた人には馴染みのある、行き過ぎた高揚感を帯びており、今受けている懐疑は当然のものだ。

現場のエンジニアへの助言は具体的だ。モデルの内部をデフォルトで黒い箱として扱うのをやめよう。活性化を調べ、特徴をステアリングし、回路を追跡するためのツールは急速に成熟している。「どうせ全部が任意の結び目だ」という概念上の障壁は、思われていたほど重要な支えではなかった。ニューラルネットワークは、我々のコードが整っているのと同じ意味で整っているわけではないかもしれない。しかし魔法というより読み取り可能なシステムに近く、読み取り可能なシステムこそ、我々が設計の仕方を知っているものなのだ。