Mythes de l'interprétabilité mécaniste mis à l'épreuve

Pendant des années, la sagesse populaire en interprétabilité mécaniste était sombre : les réseaux de neurones sont des nœuds emmêlés, et avant de pouvoir en comprendre un, il faut d'abord payer un second modèle pour le démêler à votre place. Cette croyance a façonné les agendas de recherche, justifié des sous-domaines entiers bâtis sur les autoencodeurs parcimonieux, et convaincu discrètement pas mal d'ingénieurs que regarder à l'intérieur d'un LLM était une perte de temps. Un chercheur qui a contribué à ce pessimisme vient d'en retirer une bonne partie — que vous achetiez ou non la version la plus forte de l'affirmation, c'est un bon moment pour réexaminer ce que nous croyons savoir sur les mécanismes internes des modèles. Testons cinq idées reçues à la lumière des preuves.

Mythe 1 : les neurones sont désespérément polysémantiques

La légende fondatrice de l'interprétabilité moderne est le neurone polysémantique : une seule unité qui s'active pour les visages de chats et les calandres de voitures, deux choses sans lien évident. Si les neurones regroupent couramment des concepts sans rapport, le raisonnement voulait qu'essayer de comprendre un réseau neurone par neurone soit voué à l'échec. Cet exemple a fait un travail rhétorique énorme. C'était la pièce à conviction qui justifiait toute la vision « les réseaux sont des nœuds ».

La nouvelle thèse affirme que la pièce à conviction a été mal lue. Quand les chercheurs ont retracé le circuit réel derrière le fameux neurone voiture-chien, aucune couche en aval ne relisait jamais cette combinaison particulière. Le neurone ne faisait pas passer discrètement une caractéristique « voiture » par un territoire étranger ; il faisait simplement de la généralisation et de la composition ordinaires. Et la couche la plus confuse du modèle de référence préféré des premiers travaux — la dernière couche d'InceptionV1, jugée autrefois presque dépourvue de neurones interprétables — s'avère être interprétable à 99–100 % après de simples corrections d'architecture, sans changer ni la taille du modèle ni ses données d'entraînement. Le nœud était, en grande partie, un artefact de mesure.

Les modèles de langage présentent le même schéma à une autre échelle. Des audits réalisés en 2023 ont attribué au neurone médian d'un petit transformeur un score nul sur une grille d'interprétabilité, et un vaste projet d'explicabilité automatisée a trouvé environ 1,7 % de neurones lisibles. Des audits préliminaires de modèles modernes de 32 milliards de paramètres, avec de meilleurs outils, estiment désormais qu'environ 90 % des pôles de neurones ont une fonction principale, environ 7 % en ont deux, étroitement liées, et seuls quelques pour cent restent véritablement mystérieux. Le reste de la « polysémanticité » se dissout souvent à l'examen : un neurone qui semble détecter à la fois un suffixe et une expression complète comme « do it yourself » ne regroupe pas des choses sans rapport — il a grandi de l'un vers l'autre.

Mon avis : l'idée reçue est morte, mais ses funérailles doivent rester modestes. Un commentateur sceptique a fait remarquer que la complexité progressive des caractéristiques est connue depuis l'ère des CNN, et que des représentations condensées et non sémantiques sont documentées ailleurs. « Moins polysémantique qu'on ne le craignait » est bien étayé. « Jamais polysémantique » n'est pas démontré.

Mythe 2 : la superposition est un principe fondamental de l'apprentissage

La superposition était l'élégante théorie qui expliquait le désordre : quand un réseau manque de neurones, il cesse de regrouper les choses similaires et commence à replier des choses sans rapport dans la même unité, en exploitant la géométrie des espaces de grande dimension pour qu'elles n'interfèrent pas. Selon cette théorie, quels concepts partagent un neurone ne vous apprend presque rien — le repliement est arbitraire, l'une des nombreuses configurations également valables. Il faut déplier avant de pouvoir étudier.

La contre-proposition est d'une simplicité presque décevante : il n'existe qu'un seul principe d'apprentissage, et c'est la généralisation. Ce qui ressemblait à un repliement est en fait une généralisation récursive — les neurones poussent des ramifications comme une branche d'arbre pousse des sous-branches. Un neurone qui détecte « iy » s'étend pour détecter « diy », puis le concept entier « do it yourself ». Chaque expansion se fait vers un territoire sémantique voisin, jamais vers le hasard. Et quand on réduit un modèle, il ne change pas de stratégie : les neurones deviennent simplement plus grossiers, un neurone « voiture » couvrant de nombreux types de voitures au lieu de se spécialiser. Passez cela à l'échelle sur une plage de tailles de 300 × et la même lisibilité persiste — les neurones se différencient, ils ne s'emmêlent pas.

Cela compte, car cela change ce que signifie le regroupement d'un neurone. Avec la superposition, un neurone qui s'active pour deux choses est du bruit. Avec la généralisation récursive, c'est une hypothèse sur la hiérarchie de concepts du modèle — il y a quelque chose à apprendre de la raison pour laquelle ces choses partagent un même foyer. Cela signifie aussi que les explications peuvent être fractales : on commence par une étiquette grossière, puis on zoome quand on a besoin de détails. Pour un ingénieur, c'est la différence entre un hexdump et une trace de pile avec les noms de symboles.

Deux explications étaient sur la table : la généralisation regroupe les choses similaires, la superposition regroupe les choses sans rapport. Le domaine a parié sur la mauvaise.

J'ajouterais une réserve que les enthousiastes passent sous silence : la superposition, en tant que phénomène mathématique — des caractéristiques représentées dans moins de dimensions qu'il n'y a de caractéristiques — est bien établie dans des modèles jouets. Ce qui est contesté, c'est qu'elle soit la bonne explication pour les neurones confus canoniques des vrais réseaux. Ce sont des affirmations différentes, et les confondre revient à surestimer ou à rejeter trop vite le résultat.

Mythe 3 : il faut un autoencodeur parcimonieux pour voir quoi que ce soit

La conséquence pratique de la théorie des nœuds était méthodologique : ne pas étudier le réseau, mais une décomposition de celui-ci. Entraîner un autoencodeur parcimonieux pour approximer le réseau « déplié », puis interpréter ses caractéristiques apprises plutôt que les neurones d'origine. Cela a fait naître toute une industrie de pipelines — apprentissage de dictionnaires, objectifs de reconstruction, tableaux de bord de caractéristiques — et quelques résultats vraiment impressionnants, comme les caractéristiques monosémantiques extraites par Anthropic de modèles de l'échelle de Claude.

Mais remarquez ce que l'approche par autoencodeur suppose : que le réseau original est illisible et que la vérité se trouve dans l'approximation. Si les réseaux sont déjà propres, cette hypothèse s'inverse. Les neurones et circuits du réseau deviennent l'objet principal d'étude, et l'autoencodeur n'est au mieux qu'un outil de compression — utile pour résumer, dangereux si l'on confond le résumé avec le système. Les autoencodeurs ont leurs propres modes de défaillance : ils peuvent inventer des caractéristiques qui reconstruisent bien les activations sans correspondre à aucun mécanisme réel, et leurs erreurs de reconstruction sont exactement le genre de chose qui vous mord lors d'une analyse critique pour la sécurité.

Le flux de travail alternatif ressemble davantage à un débogage ordinaire. Choisissez un neurone. Regardez ses activations les plus fortes, puis les plus faibles (les activations faibles se révèlent informatives — le fameux « neurone Titanic » s'active faiblement pour des éléments de la même époque, comme les locomotives à vapeur, ce qui relève de la généralisation et non de la confusion). Suivez ce à quoi il se connecte en aval. Dans les modèles à mélange d'experts, vérifiez la spécialité de son expert. La compréhension se construit comme des mots croisés : chaque neurone décodé contraint ceux qui l'entourent. Rien de tout cela n'exige d'entraîner un second modèle.

• Partez des activations fortes d'un neurone unique, puis examinez les activations faibles pour cerner la frontière de généralisation.
• Suivez les connexions en aval pour voir ce qui lit réellement la sortie du neurone — beaucoup de « mystères » disparaissent à ce stade.
• Utilisez le circuit environnant et la spécialisation des experts comme contrôles croisés, un peu comme les appelants et appelés dans un profileur.
• Faites appel aux autoencodeurs quand vous avez besoin de compression ou de recherche, pas comme vérité terrain sur le mécanisme.

Mythe 4 : les petits modèles vous disent comment fonctionnent les grands

La plupart des résultats pessimistes de référence provenaient de modèles petits ou simplifiés — transformeurs à une couche, premiers réseaux de vision. Il y a ici une ironie commode : les petits modèles manquent vraiment de place, ce qui a fait de la superposition l'explication naturelle de leur comportement. Mais un réseau à l'étroit ne change pas les principes d'apprentissage ; ses neurones deviennent simplement plus larges. Des neurones larges ressemblent à des mélanges arbitraires pour des outils rudimentaires. Augmentez la taille du modèle, et ces neurones larges se différencient en neurones propres et spécifiques.

La même logique s'applique aux outils. Les explicateurs automatisés de 2023 ne pouvaient pas faire tourner la boucle conjecture-test : ils générataient une hypothèse à partir des activations et la notaient par simulation, ce qui récompense les explications plausibles plutôt que correctes. Les outils agentiques modernes peuvent réellement intervenir : corriger des activations, désactiver un neurone, prédire l'effet, vérifier le résultat. Cette boucle fermée a fait passer « 1,7 % interprétable » à « environ 90 % à fonction principale » bien plus que toute propriété des modèles eux-mêmes. Nous devrions rester humbles sur la part de la littérature qui mesure nos instruments plutôt que les réseaux.

Il existe un parallèle avec d'autres cas où l'écart entre une spécification et un système en fonctionnement masquait le comportement réel : le décalage entre spécification et implémentation est l'endroit où vivent les bugs, et c'est aussi là que vivaient les faux bugs de l'interprétabilité. Les poids du modèle ont toujours été la vérité de terrain ; nos descriptions de ces poids étaient la spécification défectueuse.

Mythe 5 : l'interprétabilité ne change pas la façon de construire

Même les praticiens qui suivaient la littérature sur l'interprétabilité la rangeaient souvent dans « recherche sur la sécurité, pertinence : un jour peut-être ». C'est faux maintenant, quelle que soit votre opinion sur les affirmations les plus fortes. Si les neurones et les circuits sont des briques lisibles, ils deviennent des leviers : des caractéristiques pilotables que l'on peut bloquer, amplifier ou désactiver à l'inférence. Le pilotage des caractéristiques — renforcer une direction « véracité », supprimer une direction « complaisance » — est déjà une technique opérationnelle, et elle est nettement plus rigoureuse quand la caractéristique correspond à un mécanisme réel plutôt qu'à un artefact de reconstruction d'un autoencodeur.

Pour le débogage, le gain est l'anticipation. Quand un modèle se comporte mal sur une classe d'entrées, la pratique actuelle relève de l'archéologie des prompts et de l'intuition. Un circuit lisible vous offre plutôt un profileur : quelles caractéristiques se sont activées, ce qui les a lues, où la décision a réellement été prise. Cela complète les techniques comportementales sans les remplacer — si vous façonnez les sorties d'un modèle en production, le décodage contraint gère le contrat de sortie, tandis que l'interprétabilité traite le pourquoi. Et pour les agents qui agissent de manière autonome, l'observabilité interne ajoute une dimension que les garde-fous externes ne peuvent pas offrir : nous avons déjà argumenté sur le confinement face à la surveillance des agents d'IA, et la surveillance devient nettement plus forte quand on peut observer le mécanisme, pas seulement le comportement.

Une implication supplémentaire mérite d'être soulignée, et elle concerne l'accès. Tout ce programme de recherche dépend des poids ouverts. On ne peut pas auditer les circuits d'un modèle que l'on ne peut interroger que via une API. Si comprendre les mécanismes internes est un prérequis pour faire confiance à des systèmes de plus en plus autonomes — et je pense que c'en est un —, alors l'ouverture des poids n'est pas une idéologie accessoire : elle est le fondement de toute l'histoire du débogage.

Ce qu'il faut vraiment retenir

Débarrassé de l'emballage, le noyau défendable est le suivant : la preuve canonique selon laquelle les réseaux sont arbitrairement emmêlés n'a pas résisté à un nouvel examen, les modèles modernes avec les outils modernes paraissent bien plus lisibles que ne le suggérait la littérature de 2023, et le désordre restant possède une structure — une généralisation fractale — que l'on peut exploiter plutôt que démêler. La version forte, « l'interprétabilité est pratiquement résolue, il suffit de passer à l'échelle », a une résonance hypomaniaque familière pour quiconque a suivi la première vague d'enthousiasme pour les autoencodeurs, et elle mérite le scepticisme qu'elle suscite.

Pour les ingénieurs en activité, mon conseil est concret : arrêtez de traiter les mécanismes internes des modèles comme une boîte noire par défaut. Les outils pour sonder les activations, piloter les caractéristiques et tracer les circuits mûrissent rapidement, et la barrière conceptuelle — « de toute façon, ce ne sont que des nœuds arbitraires » — n'a jamais été aussi porteuse qu'elle en avait l'air. Les réseaux de neurones ne sont peut-être pas propres de la même façon que notre code l'est. Mais ils ressemblent bien plus à des systèmes lisibles qu'à de la magie, et les systèmes lisibles sont ceux avec lesquels nous savons ingénier.