Interpretabilità meccanicistica: test di cinque miti

Per anni la saggezza comune nell'interpretabilità meccanicistica è stata cupa: le reti neurali sono nodi aggrovigliati, e prima di capirne una devi pagare un secondo modello perché la sbrogli al posto tuo. Questa convinzione ha orientato le agende di ricerca, giustificato interi sottocampi costruiti sugli autoencoder sparsi e convinto in silenzio molti ingegneri che guardare dentro un LLM fosse una perdita di tempo. Uno dei ricercatori che hanno contribuito a creare questo pessimismo ne ha appena ritrattato gran parte. Che tu accetti o meno la versione più forte dell'affermazione, è un buon momento per riesaminare quello che pensiamo di sapere sugli interni dei modelli. Verifichiamo cinque convinzioni diffuse alla luce delle prove.

Mito 1: i neuroni sono irrimediabilmente polisemantici

La leggenda fondativa dell'interpretabilità moderna è quella del neurone polisemantico: una singola unità che si attiva sia per i volti di gatto sia per i frontali di auto, due cose apparentemente senza alcun legame. Se i neuroni raggruppano regolarmente concetti non correlati, il ragionamento era questo, allora capire una rete neurone per neurone è già morto in partenza. Quell'esempio ha fatto un lavoro retorico enorme. Era la prova A che giustificava l'intera visione delle "reti come nodi".

La nuova tesi è che la prova A è stata letta male. Quando i ricercatori hanno ricostruito il circuito reale dietro il celebre neurone auto-cane, nulla a valle leggeva mai quella particolare combinazione. Il neurone non stava contrabbandando una feature "auto" attraverso territori non correlati: stava facendo la normale generalizzazione e composizione. E lo strato più caotico del modello preferito dai primi ricercatori, lo strato finale di InceptionV1, che si riteneva non contenesse quasi nessun neurone interpretabile, risulta essere interpretabile al 99-100% dopo semplici correzioni architetturali, senza alcun cambiamento nella dimensione del modello o nei dati di addestramento. Il nodo era, in gran parte, un artefatto di misurazione.

I modelli linguistici mostrano lo stesso schema a una scala diversa. Nel 2023 alcuni audit avevano assegnato al neurone mediano di un piccolo transformer un punteggio zero su una griglia di interpretabilità, e un grande progetto automatizzato di spiegabilità aveva trovato circa l'1,7% dei neuroni leggibili. Audit preliminari su modelli moderni da 32 miliardi di parametri, con strumenti migliori, stimano ora che circa il 90% dei poli neuronali abbia un compito principale, un altro 7% circa due compiti correlati, e solo una piccola percentuale resti davvero misteriosa. La restante "polisemanticità" spesso si dissolve all'ispezione: un neurone che sembra rilevare sia un suffisso sia una frase intera come "fai da te" non sta raggruppando cose non correlate, perché è cresciuto dall'una all'altra.

La mia lettura: la convinzione è morta, ma il suo funerale dovrebbe essere sobrio. Un commentatore scettico ha fatto notare che la complessità progressiva delle feature è nota dall'epoca delle CNN, e che rappresentazioni condensate e non semantiche sono documentate anche altrove. "Meno polisemantici di quanto temessimo" è ben supportato. "Mai polisemantici" non è dimostrato.

Mito 2: la sovrapposizione è un principio fondamentale dell'apprendimento

La sovrapposizione era l'elegante teoria che spiegava il caos: quando una rete esaurisce i neuroni, smette di raggruppare cose simili e inizia a comprimere cose non correlate nella stessa unità, sfruttando la geometria degli spazi ad alta dimensione perché non interferiscano. Secondo questa teoria, quali concetti condividono un neurone ti dice quasi nulla: la compressione è arbitraria, una delle tante configurazioni ugualmente valide. Bisogna dispiegarla prima di poterla studiare.

La proposta alternativa è quasi deludente per la sua semplicità: esiste un solo principio di apprendimento, ed è la generalizzazione. Ciò che sembrava una compressione è in realtà generalizzazione ricorsiva: i neuroni fanno germogliare diramazioni come un ramo d'albero fa crescere sottorami. Un neurone che rileva "iy" cresce fino a rilevare "diy", poi l'intero concetto "fai da te". Ogni espansione avviene in un territorio semantico adiacente, mai nel caos. E quando riduci un modello, non cambia strategia: i neuroni diventano semplicemente più grossolani, e un neurone "auto" copre molti tipi di auto invece di specializzarsi. Scalando il modello su un intervallo di dimensioni 300 volte maggiore, la stessa leggibilità resta: i neuroni si differenziano, non si aggrovigliano.

Questo conta perché cambia il significato del raggruppamento di un neurone. Con la sovrapposizione, un neurone che si attiva per due cose è rumore. Con la generalizzazione ricorsiva, è un'ipotesi sulla gerarchia dei concetti del modello: c'è qualcosa da imparare dal perché quelle cose condividono una stessa casa. Significa anche che le spiegazioni possono essere frattali: parti da un'etichetta grossolana e zoomi quando ti serve il dettaglio. Per un ingegnere, è la differenza tra un hexdump e uno stack trace con i nomi dei simboli.

Erano due le spiegazioni sul tavolo: la generalizzazione raggruppa cose simili, la sovrapposizione raggruppa cose non correlate. Il settore ha puntato sulla sbagliata.

Aggiungerei una precisazione che gli entusiasti tralasciano: la sovrapposizione come fenomeno matematico, cioè feature rappresentate in meno dimensioni di quante feature esistano, è ben documentata nei modelli giocattolo. Ciò che è controverso è se sia la spiegazione giusta per i classici neuroni caotici delle reti reali. Sono affermazioni diverse, e confonderle è il modo in cui si finisce per sopravvalutare o liquidare il risultato.

Mito 3: serve un autoencoder sparso per vedere qualcosa

La conseguenza pratica della teoria del nodo era metodologica: non studiare la rete, studia una sua scomposizione. Addestra un autoencoder sparso che approssimi la rete "dispiegata", poi interpreta le feature apprese dall'SAE invece dei neuroni originali. Ne è nata un'intera industria di pipeline (dictionary learning, obiettivi di ricostruzione, dashboard delle feature) e alcuni risultati davvero impressionanti, come le feature monosemantiche estratte da Anthropic da modelli di scala Claude.

Ma nota cosa assume l'approccio SAE: che la rete originale sia illeggibile e che l'approssimazione sia il punto in cui sta la verità. Se le reti sono già pulite, questa assunzione si ribalta. I neuroni e i circuiti stessi della rete diventano l'oggetto principale di studio, e l'SAE diventa al massimo uno strumento di compressione, utile per riassumere, pericoloso se confondi il riassunto con il sistema. Gli SAE hanno le proprie modalità di fallimento: possono inventare feature che ricostruiscono bene le attivazioni senza corrispondere ad alcun meccanismo reale, e i loro errori di ricostruzione sono proprio il tipo di problema che morde nelle analisi critiche per la sicurezza.

Il flusso alternativo assomiglia di più al normale debugging. Scegli un neurone. Guarda le sue attivazioni più forti, poi quelle deboli (le attivazioni deboli si rivelano informative: il famoso "neurone Titanic" si attiva debolmente per cose di quell'epoca come le locomotive a vapore, ed è generalizzazione, non confusione). Traccia a cosa si collega a valle. Nei modelli mixture-of-experts, controlla su cosa è specializzato il suo esperto. La comprensione si accumula come un cruciverba: ogni neurone decodificato vincola quelli intorno. Nulla di tutto questo richiede di addestrare un secondo modello.

• Parti dalle attivazioni forti di un singolo neurone, poi esamina quelle deboli per individuare il confine della generalizzazione.
• Segui le connessioni a valle per vedere cosa legge davvero l'output del neurone: molti "misteri" si risolvono qui.
• Usa il circuito circostante e la specializzazione degli esperti come controlli incrociati, come faresti con chiamanti e chiamati in un profiler.
• Ricorri agli SAE quando ti servono compressione o ricerca, non come verità di riferimento sul meccanismo.

Mito 4: i modelli piccoli ti dicono come funzionano quelli grandi

La maggior parte dei risultati pessimisti canonici proveniva da modelli piccoli o semplificati: transformer a un solo strato, primi network di visione. C'è un'ironia di fondo: i modelli piccoli esauriscono davvero lo spazio, e questo rendeva la sovrapposizione la spiegazione naturale del loro comportamento. Ma una rete a corto di spazio non cambia i principi di apprendimento; i suoi neuroni diventano semplicemente più ampi. Neuroni ampi appaiono come miscele arbitrarie agli strumenti primitivi. Scala il modello e quei neuroni ampi si differenziano in neuroni puliti e specifici.

La stessa logica vale per gli strumenti. Gli spiegatori automatici dell'era 2023 non riuscivano a eseguire il ciclo congettura-verifica: generavano un'ipotesi dalle attivazioni e la valutavano tramite simulazione, premiando spiegazioni plausibili invece che corrette. Gli strumenti agentici moderni possono davvero intervenire: modificare attivazioni, ablare un neurone, prevedere l'effetto, verificare il risultato. È quel ciclo chiuso ad aver trasformato "1,7% interpretabile" in "~90% con un compito principale", più di qualsiasi proprietà dei modelli stessi. Dovremmo essere umili su quanta parte della letteratura misura i nostri strumenti invece delle reti.

C'è un parallelo con altri casi in cui il divario tra una specifica e un sistema in esecuzione nascondeva il comportamento reale: il divario tra specifica e implementazione è dove vivono i bug, ed è anche dove vivevano i falsi bug dell'interpretabilità. I pesi del modello sono sempre stati la verità di riferimento; le nostre descrizioni di quei pesi erano la specifica sbagliata.

Mito 5: l'interpretabilità non cambia il modo in cui si costruisce

Anche i professionisti che seguivano la letteratura sull'interpretabilità la archiviavano spesso sotto "ricerca sulla sicurezza, rilevanza: un giorno". Oggi è sbagliato, qualunque cosa si pensi delle affermazioni più forti. Se neuroni e circuiti sono blocchi costruttivi leggibili, diventano delle leve: feature orientabili che puoi fissare, amplificare o ablare in fase di inferenza. Il controllo delle feature, cioè potenziare una direzione di "veridicità" o sopprimere una direzione di "piaggeria", è già una tecnica funzionante, ed è decisamente più principiata quando la feature corrisponde a un meccanismo reale e non a un artefatto di ricostruzione di un SAE.

Per il debugging, il vantaggio è la capacità di anticipare. Quando un modello si comporta male su una classe di input, la pratica attuale è l'archeologia dei prompt e l'intuito. Un circuito leggibile ti dà qualcosa di più vicino a un profiler: quali feature si sono attivate, cosa le ha lette, dove è avvenuta davvero la decisione. Questo integra, senza sostituire, le tecniche comportamentali: se stai modellando gli output di un modello in produzione, la decodifica vincolata gestisce il contratto sull'output, mentre l'interpretabilità gestisce il perché. E per gli agenti che agiscono in autonomia, l'osservabilità interna aggiunge una dimensione che i guardrail esterni non possono offrire: ne abbiamo già parlato in contenimento contro monitoraggio per gli agenti IA, e il monitoraggio diventa molto più forte quando puoi osservare il meccanismo, non solo il comportamento.

C'è un'altra implicazione che merita enfasi, e riguarda l'accesso. L'intero programma di ricerca dipende dai pesi aperti. Non puoi auditare i circuiti di un modello che puoi solo interrogare tramite API. Se capire gli interni è un prerequisito per fidarsi di sistemi sempre più autonomi, e io credo di sì, allora l'apertura dei pesi non è un'ideologia piacevole da avere, ma il fondamento dell'intera storia del debugging.

Cosa portarsi a casa davvero

Tolto l'hype, il nucleo difendibile è questo: la prova canonica che le reti sono arbitrariamente aggrovigliate non ha retto a una riesame, i modelli moderni con strumenti moderni appaiono molto più leggibili di quanto suggerisse la letteratura del 2023, e il caos residuo ha una struttura, la generalizzazione frattale, che puoi sfruttare invece di doverlo sciogliere. La versione forte, "l'interpretabilità è sostanzialmente risolta, basta scalarla", ha una familiare eccitazione maniacale per chiunque abbia seguito la prima ondata di entusiasmo per gli SAE, e merita lo scetticismo che sta ricevendo.

Per gli ingegneri che lavorano sul campo, il mio consiglio è concreto: smetti di trattare gli interni dei modelli come una scatola nera per default. Gli strumenti per sondare le attivazioni, orientare le feature e tracciare i circuiti stanno maturando in fretta, e la barriera concettuale ("tanto sono solo nodi arbitrari") non è mai stata così portante come sembrava. Le reti neurali potrebbero non essere pulite nel modo in cui lo è il nostro codice. Ma sono molto più vicine a sistemi leggibili che alla magia, e i sistemi leggibili sono quelli con cui sappiamo ingegnerizzare.