Mechanistic Interpretability: Fünf Mythen im Realitätscheck

Jahrelang war die herrschende Meinung in der Mechanistic Interpretability ziemlich düster: Neuronale Netze seien verknotete Knäuel, und bevor man eines versteht, muss man erst ein zweites Modell dafür bezahlen, es zu entwirren. Diese Annahme hat Forschungsagenden geprägt, ganze Teilgebiete rund um Sparse Autoencoder getragen und vielen Ingenieurinnen und Ingenieuren still und leise eingeredet, dass der Blick ins Innere eines LLM Zeitverschwendung sei. Einer der Forscher, die diesen Pessimismus mitgeprägt haben, rudert nun ein gutes Stück zurück. Ob man die stärkste Version der Behauptung kauft oder nicht: Es ist ein guter Moment, zu hinterfragen, was wir über die Innenwelt von Modellen zu wissen glauben. Testen wir fünf verbreitete Annahmen anhand der Belege.

Mythos 1: Neuronen sind hoffnungslos polysemantisch

Die Gründungslegende der modernen Interpretierbarkeit ist das polysemantische Neuron: eine einzelne Einheit, die sowohl auf Katzengesichter als auch auf Autofronten anspringt, zwei Dinge ohne erkennbaren Zusammenhang. Wenn Neuronen routinemäßig unverwandte Konzepte bündeln, so die Logik, dann ist das Verstehen eines Netzes Neuron für Neuron von vornherein gescheitert. Dieses Beispiel hat enorme rhetorische Arbeit geleistet. Es war das Paradebeispiel, das die ganze Weltsicht vom verknoteten Netz gerechtfertigt hat.

Die neue Behauptung lautet, dass Paradebeispiel sei falsch gelesen worden. Als Forschende den tatsächlichen Schaltkreis hinter dem berühmten Auto-und-Hund-Neuron zurückverfolgt haben, las nachgelagert nie jemand genau diese Kombination wieder aus. Das Neuron schmuggelte kein Automerkmal durch fremdes Gebiet, es leistete ganz gewöhnliche Generalisierung und Komposition. Und die chaotischste Schicht im Lieblingsmodell der frühen Forschung, die letzte Schicht von InceptionV1, die man einst für fast nicht interpretierbar hielt, erweist sich nach gewöhnlichen Architekturkorrekturen als zu 99–100 % sauber lesbar, ohne Änderung an Modellgröße oder Trainingsdaten. Der Knoten war zu einem großen Teil ein Messartefakt.

Sprachmodelle zeigen dasselbe Muster in anderem Maßstab. Audits aus dem Jahr 2023 gaben dem medianen Neuron eines kleinen Transformers null Punkte auf einer Interpretierbarkeitsskala, und ein großes automatisiertes Erklärungsprojekt fand nur etwa 1,7 % der Neuronen lesbar. Vorläufige Audits moderner Modelle mit 32 Milliarden Parametern und besseren Werkzeugen schätzen nun, dass etwa 90 % der Neuronenpole eine Hauptaufgabe haben, weitere rund 7 % zwei verwandte Aufgaben, und nur wenige Prozent bleiben wirklich rätselhaft. Die übrige "Polysemantik" löst sich bei genauerem Hinsehen oft auf: Ein Neuron, das sowohl ein Suffix als auch eine ganze Phrase wie "do it yourself" zu erkennen scheint, bündelt nicht unverwandte Dinge, sondern ist von dem einen zum anderen gewachsen.

Mein Fazit: Der Mythos ist tot, sein Begräbnis darf aber bescheiden ausfallen. Ein skeptischer Kommentator wies darauf hin, dass progressive Merkmalskomplexität seit der CNN-Ära bekannt ist und verdichtete, nicht semantische Repräsentationen auch anderswo dokumentiert sind. "Weniger polysemantisch als befürchtet" ist gut belegt. "Niemals polysemantisch" ist nicht bewiesen.

Mythos 2: Superposition ist ein grundlegendes Lernprinzip

Superposition war die elegante Theorie, die das Durcheinander erklärte: Wenn einem Netz die Neuronen ausgehen, hört es auf, Ähnliches zu gruppieren, und beginnt, Unverwandtes in dieselbe Einheit zu falten. Dabei nutzt es die Geometrie hochdimensionaler Räume, damit sich die Konzepte nicht gegenseitig stören. Nach dieser Theorie sagt die Frage, welche Konzepte sich ein Neuron teilen, fast nichts aus, denn das Falten ist beliebig, eine von vielen gleichwertigen Konfigurationen. Man muss also entfalten, bevor man untersuchen kann.

Der Gegenvorschlag ist fast enttäuschend schlicht: Es gibt nur ein Lernprinzip, und das ist Generalisierung. Was wie Falten aussah, ist in Wahrheit rekursive Generalisierung. Neuronen treiben Ableger, so wie ein Ast Zweige treibt. Ein Neuron, das "iy" erkennt, wächst zu einem Detektor für "diy" und schließlich für das ganze Konzept "do it yourself". Jede Erweiterung führt in benachbartes semantisches Gebiet, nie ins Zufällige. Und wenn man ein Modell verkleinert, wechselt es nicht die Strategie: Die Neuronen werden nur gröber, ein "Auto"-Neuron deckt dann viele Arten von Autos ab, statt sich zu spezialisieren. Skaliert man über einen Größenbereich vom 300-Fachen, bleibt dieselbe Lesbarkeit erhalten. Die Neuronen differenzieren sich, sie verheddern sich nicht.

Das ist wichtig, weil sich damit ändert, was die Gruppierung eines Neurons bedeutet. Unter Superposition ist ein Neuron, das bei zwei Dingen feuert, Rauschen. Unter rekursiver Generalisierung ist es eine Hypothese über die Konzepthierarchie des Modells: Es gibt etwas zu lernen daraus, warum diese Dinge dieselbe Heimat teilen. Außerdem können Erklärungen fraktal sein: Man beginnt mit einem groben Label und zoomt bei Bedarf hinein. Für Ingenieurinnen und Ingenieure ist das der Unterschied zwischen einem Hexdump und einem Stack Trace mit Symbolnamen.

Zwei Erklärungen standen zur Wahl: Generalisierung gruppiert Ähnliches, Superposition gruppiert Unverwandtes. Das Feld hat auf die falsche gesetzt.

Eine Einschränkung möchte ich ergänzen, über die die Begeisterten hinweggehen: Superposition als mathematisches Phänomen, also Merkmale, die in weniger Dimensionen dargestellt werden als es Merkmale gibt, ist in Toy-Modellen gut belegt. Umstritten ist, ob sie die richtige Erklärung für die berühmten chaotischen Neuronen in echten Netzen ist. Das sind verschiedene Behauptungen, und wer sie vermischt, überschätzt oder unterschätzt das Ergebnis.

Mythos 3: Ohne Sparse Autoencoder sieht man nichts

Die praktische Konsequenz der Knotentheorie war methodischer Natur: Untersuche nicht das Netz, sondern eine Zerlegung davon. Man trainiert einen Sparse Autoencoder, der das "entfaltete" Netz approximiert, und interpretiert dann dessen gelernte Merkmale statt der ursprünglichen Neuronen. Daraus entstand eine ganze Pipeline-Industrie aus Dictionary Learning, Rekonstruktionszielen und Feature-Dashboards, und es gab beeindruckende Ergebnisse, etwa Anthropics monosemantische Merkmale, extrahiert aus Modellen in der Größenordnung von Claude.

Aber man beachte, was der SAE-Ansatz voraussetzt: dass das ursprüngliche Netz unlesbar ist und die Approximation den eigentlichen Befund enthält. Sind Netze bereits sauber, dreht sich diese Annahme um. Die eigenen Neuronen und Schaltkreise des Netzes werden zum primären Untersuchungsobjekt, und der SAE wird bestenfalls zu einem Kompressionswerkzeug, nützlich zum Zusammenfassen, gefährlich, wenn man die Zusammenfassung für das System hält. SAEs haben zudem eigene Fehlermodi: Sie können Merkmale erfinden, die Aktivierungen gut rekonstruieren, ohne irgendeinem realen Mechanismus zu entsprechen, und ihre Rekonstruktionsfehler sind genau die Art Problem, die bei sicherheitskritischen Analysen zuschlägt.

Der alternative Workflow gleicht eher gewöhnlichem Debugging. Man wählt ein Neuron und schaut sich seine stärksten Aktivierungen an, dann die schwachen; schwache Aktivierungen erweisen sich als aufschlussreich, denn das berühmte "Titanic-Neuron" feuert schwach auf epochennahe Dinge wie Dampfmaschinen, was Generalisierung ist und keine Verwirrung. Dann verfolgt man, mit was es nachgelagert verbunden ist. In Mixture-of-Experts-Modellen prüft man, worauf sein Experte spezialisiert ist. Verstehen wächst dabei wie ein Kreuzworträtsel: Jedes entschlüsselte Neuron schränkt die Nachbarn ein. Nichts davon erfordert das Training eines zweiten Modells.

• Mit starken Aktivierungen eines einzelnen Neurons beginnen, dann schwache Aktivierungen auf die Grenze der Generalisierung prüfen.
• Verbindungen nachgelagert verfolgen, um zu sehen, was die Ausgabe des Neurons tatsächlich liest; viele "Rätsel" lösen sich hier auf.
• Umgebende Schaltkreise und Expertenspezialisierung als Gegenprüfung nutzen, ähnlich wie Caller und Callees in einem Profiler.
• SAEs dann einsetzen, wenn man Kompression oder Suche braucht, nicht als Wahrheit über den Mechanismus.

Mythos 4: Kleine Modelle verraten, wie große funktionieren

Die meisten pessimistischen Klassiker stammten aus kleinen oder vereinfachten Modellen, etwa Transformern mit einer Schicht oder frühen Bildnetzen. Die Ironie dabei: Kleine Modelle gehen tatsächlich der Kapazität aus, weshalb Superposition dort als naheliegende Erklärung erschien. Ein Netz mit knappem Platz ändert aber nicht die Lernprinzipien; seine Neuronen werden einfach breiter. Breite Neuronen wirken auf primitive Werkzeuge wie beliebige Mischungen. Skaliert man das Modell hoch, differenzieren sich diese breiten Neuronen in saubere, spezifische.

Dieselbe Logik gilt für die Werkzeuge. Die automatisierten Erklärer aus der Zeit um 2023 konnten die Schleife aus Vermutung und Test nicht durchlaufen: Sie erzeugten eine Hypothese aus Aktivierungen und bewerteten sie per Simulation, was plausibel klingende Erklärungen gegenüber richtigen belohnt. Moderne agentische Werkzeuge können dagegen eingreifen: Aktivierungen patchen, ein Neuron ausschalten, die Wirkung vorhersagen, das Ergebnis prüfen. Diese geschlossene Schleife hat "1,7 % interpretierbar" in "etwa 90 % mit einer Hauptaufgabe" verwandelt, und zwar mehr als jede Eigenschaft der Modelle selbst. Wir sollten bescheiden sein, wie viel der Literatur eigentlich unsere Instrumente misst und nicht die Netze.

Es gibt hier eine Parallele zu anderen Fällen, in denen die Lücke zwischen Spezifikation und laufendem System das eigentliche Verhalten verborgen hat. Die Lücke zwischen Spezifikation und Implementierung ist der Ort, an dem Bugs leben, und dort lebten auch die Phantom-Bugs der Interpretierbarkeit. Die Gewichte des Modells waren von Anfang an die Grundwahrheit; unsere Beschreibungen davon waren die fehlerhafte Spezifikation.

Mythos 5: Interpretierbarkeit ändert nichts an der Art, wie man baut

Selbst Praktiker, die der Interpretierbarkeitsliteratur folgten, sortierten sie oft unter "Sicherheitsforschung, Relevanz: irgendwann" ab. Das ist heute falsch, egal wie man zu den stärksten Behauptungen steht. Wenn Neuronen und Schaltkreise lesbare Bausteine sind, werden sie zu Griffen: steuerbaren Merkmalen, die man zur Inferenzzeit festsetzen, verstärken oder ausschalten kann. Feature Steering, also das Verstärken einer "Wahrhaftigkeits"-Richtung oder das Unterdrücken einer "Sycophancy"-Richtung, ist bereits eine funktionierende Technik, und sie ist deutlich prinzipientreuer, wenn das Merkmal einem echten Mechanismus entspricht und nicht einem Rekonstruktionsartefakt eines SAE.

Beim Debugging liegt der Gewinn in der Vorhersagbarkeit. Verhält sich ein Modell bei einer Klasse von Eingaben falsch, besteht die heutige Praxis aus Prompt-Archäologie und Bauchgefühl. Ein lesbarer Schaltkreis ist eher wie ein Profiler: Welche Merkmale feuerten, was las sie aus, wo fiel die Entscheidung tatsächlich. Das ergänzt verhaltensbasierte Techniken, ersetzt sie aber nicht. Wenn du Modellausgaben für den Produktivbetrieb formst, übernimmt Constrained Decoding den Ausgabevertrag, während Interpretierbarkeit das Warum liefert. Und bei autonom handelnden Agenten bringt interne Observability eine Dimension, die externe Leitplanken nicht bieten: Wir haben bereits über Containment versus Monitoring bei KI-Agenten geschrieben, und Monitoring wird deutlich stärker, wenn man den Mechanismus statt nur das Verhalten beobachten kann.

Eine weitere Konsequenz verdient Betonung, und sie betrifft den Zugang. Dieses gesamte Forschungsprogramm hängt von offenen Gewichten ab. Schaltkreise in einem Modell, das man nur über eine API abfragen kann, lassen sich nicht prüfen. Wenn das Verständnis der Innenwelt eine Voraussetzung ist, um zunehmend autonomen Systemen zu vertrauen, und ich halte das für richtig, dann ist die Offenheit der Gewichte kein nettes Ideal, sondern das Fundament der gesamten Debugging-Geschichte.

Was man daraus tatsächlich mitnehmen sollte

Entfernt man den Hype, bleibt dieser vertretbare Kern: Der klassische Befund, Netze seien beliebig verknotet, hält einer erneuten Prüfung nicht stand. Moderne Modelle mit modernen Werkzeugen wirken deutlich lesbarer, als es die Literatur von 2023 nahelegte, und das verbleibende Durcheinander hat eine Struktur, nämlich fraktale Generalisierung, die man nutzen statt entwirren kann. Die starke Version, "Interpretierbarkeit ist im Grunde gelöst, man muss nur skalieren", trägt einen vertrauten überdrehten Unterton für alle, die die erste Welle der SAE-Begeisterung miterlebt haben, und sie verdient die Skepsis, die ihr entgegenschlägt.

Für praktizierende Ingenieurinnen und Ingenieure lautet mein Rat konkret: Hört auf, Modellinnenleben standardmäßig als Black Box zu behandeln. Die Werkzeuge zum Untersuchen von Aktivierungen, zum Steuern von Merkmalen und zum Verfolgen von Schaltkreisen reifen schnell, und die gedankliche Hürde "Es sind ja sowieso nur beliebige Knoten" war nie so tragend, wie sie schien. Neuronale Netze sind vielleicht nicht so sauber, wie unser Code es ist. Aber sie sind viel eher lesbare Systeme als Magie, und lesbare Systeme kann man entwickeln.