Mitos da Interpretabilidade Mecanicista Postos à Prova

Por anos, a sabedoria convencional em interpretabilidade mecanicista era sombria: redes neurais são nós emaranhados, e, antes de entender uma delas, é preciso pagar outro modelo para desemaranhá-la. Essa crença moldou agendas de pesquisa, justificou subáreas inteiras construídas em torno de autoencoders esparsos e convenceu discretamente muitos engenheiros de que olhar para dentro de um LLM era perda de tempo. Um pesquisador que ajudou a criar esse pessimismo acaba de recuar boa parte dele. Quer você compre a versão mais forte da tese ou não, é um bom momento para reexaminar o que achamos saber sobre os internos dos modelos. Vamos testar cinco crenças comuns contra as evidências.

Mito 1: Neurônios são irremediavelmente polissemânticos

A lenda fundadora da interpretabilidade moderna é o neurônio polissemântico, uma única unidade que dispara tanto para rostos de gatos quanto para frentes de carros, duas coisas sem nenhuma relação óbvia. Se neurônios agrupam rotineiramente conceitos não relacionados, o raciocínio era que entender uma rede neurônio por neurônio já nascia morto. Esse exemplo fez um trabalho retórico enorme. Foi a Prova A que justificou toda a visão de que “redes são nós”.

A nova afirmação é que a Prova A foi mal interpretada. Quando pesquisadores rastrearam o circuito real por trás do famoso neurônio carro-cachorro, nada a jusante jamais lia de volta aquela combinação específica. O neurônio não estava contrabandeando um traço de carro por um território não relacionado; estava fazendo generalização e composição comuns. E a camada mais confusa do modelo favorito dos primeiros anos do campo, a última camada da InceptionV1, antes considerada quase sem neurônios interpretáveis, revela-se 99–100% limpa após ajustes arquiteturais comuns, sem mudar o tamanho do modelo nem os dados de treino. O nó era, em grande medida, um artefato de medição.

Modelos de linguagem mostram o mesmo padrão em outra escala. Auditorias de 2023 deram ao neurônio mediano de um pequeno transformer nota zero em uma rubrica de interpretabilidade, e um grande projeto automatizado de explicabilidade encontrou cerca de 1,7% dos neurônios legíveis. Auditorias preliminares de modelos modernos de 32B parâmetros, com ferramentas melhores, estimam que cerca de 90% dos polos de neurônios têm um trabalho principal, outros ~7% têm dois trabalhos relacionados, e apenas alguns por cento permanecem genuinamente misteriosos. O “polissemantismo” restante muitas vezes se dissolve na inspeção: um neurônio que parece detectar tanto um sufixo quanto uma frase completa como “faça você mesmo” não está agrupando coisas não relacionadas. Ele cresceu de um para o outro.

Minha leitura: a crença está morta, mas o funeral deve ser modesto. Um comentarista cético lembrou que a complexidade progressiva de traços é conhecida desde a era das CNNs, e que representações condensadas e não semânticas estão documentadas em outros lugares. “Menos polissemântico do que temíamos” é bem sustentado. “Nunca polissemântico” não está provado.

Mito 2: Superposição é um princípio fundamental de aprendizado

A superposição era a teoria elegante que explicava a bagunça: quando uma rede fica sem neurônios, ela deixa de agrupar coisas parecidas e passa a dobrar coisas não relacionadas na mesma unidade, explorando a geometria de espaços de alta dimensão para que não interfiram entre si. Nessa teoria, quais conceitos compartilham um neurônio diz quase nada. A dobra é arbitrária, uma de muitas configurações igualmente boas. É preciso desdobrar antes de poder estudar.

A contraproposta é quase decepcionantemente simples: existe um único princípio de aprendizado, e ele é a generalização. O que parecia dobra é, na verdade, generalização recursiva. Neurônios brotam ramificações como um galho de árvore brota sub-ramos. Um neurônio que detecta “iy” cresce para detectar “diy” e, depois, o conceito inteiro “faça você mesmo”. Cada expansão se dá para território semântico adjacente, nunca para o aleatório. E quando você reduz um modelo, ele não muda de estratégia: os neurônios apenas ficam mais grossos, com um neurônio de “carro” cobrindo muitos tipos de carro em vez de se especializar. Aumente a escala numa faixa de tamanho de 300× e a mesma legibilidade se mantém. Os neurônios se diferenciam, não se emaranham.

Isso importa porque muda o que o agrupamento de um neurônio significa. Sob a superposição, um neurônio que dispara para duas coisas é ruído. Sob a generalização recursiva, é uma hipótese sobre a hierarquia de conceitos do modelo, e há algo a aprender sobre por que essas coisas compartilham um lar. Também significa que as explicações podem ser fractais: comece com um rótulo grosso e aprofunde quando precisar de detalhe. Para engenheiros, isso é a diferença entre um hexdump e um stack trace com nomes de símbolos.

Havia duas explicações na mesa: a generalização agrupa coisas parecidas, a superposição agrupa coisas não relacionadas. O campo apostou na errada.

Acrescentaria uma ressalva que os entusiastas ignoram: a superposição, como fenômeno matemático (traços representados em menos dimensões do que o número de traços), está bem estabelecida em modelos de brinquedo. O que está em disputa é se ela é a explicação certa para os neurônios bagunçados canônicos em redes reais. São afirmações diferentes, e confundi-las é como acabar superestimando ou descartando o resultado.

Mito 3: Você precisa de um autoencoder esparso para ver alguma coisa

A consequência prática da teoria dos nós foi metodológica: não estude a rede, estude uma decomposição dela. Treine um autoencoder esparso para aproximar a rede “desdobrada” e, então, interprete os traços aprendidos pelo SAE em vez dos neurônios originais. Isso gerou uma indústria inteira de pipelines (aprendizado de dicionário, objetivos de reconstrução, painéis de traços) e alguns resultados genuinamente impressionantes, como os traços monossemânticos que a Anthropic extraiu de modelos da escala do Claude.

Mas repare no que a abordagem SAE assume: que a rede original é ilegível e que a aproximação é onde mora a verdade. Se as redes já são limpas, essa suposição se inverte. Os neurônios e circuitos próprios da rede tornam-se o objeto principal de estudo, e o SAE vira, na melhor das hipóteses, uma ferramenta de compressão: útil para resumir, perigosa se você confundir o resumo com o sistema. Os SAEs têm seus próprios modos de falha. Podem inventar traços que reconstroem bem as ativações sem corresponder a nenhum mecanismo real, e seus erros de reconstrução são exatamente o tipo de coisa que morde você em análises críticas para segurança.

O fluxo de trabalho alternativo se parece mais com depuração comum. Escolha um neurônio. Olhe suas ativações mais fortes e depois as fracas (ativações fracas revelam-se informativas: o famoso “neurônio do Titanic” dispara fracamente para coisas da mesma época, como máquinas a vapor, e isso é generalização, não confusão). Rastreie para onde ele se conecta a jusante. Em modelos de mistura de especialistas, verifique em que seu especialista se especializa. A compreensão se acumula como palavras cruzadas: cada neurônio decodificado restringe os vizinhos. Nada disso exige treinar um segundo modelo.

• Comece pelas ativações fortes de um único neurônio e depois inspecione as ativações fracas para encontrar a fronteira de generalização.
• Siga as conexões a jusante para ver o que realmente lê a saída do neurônio. Muitos “mistérios” morrem aqui.
• Use o circuito ao redor e a especialização do especialista como verificações cruzadas, como você usaria chamadores e chamados em um profiler.
• Recorra a SAEs quando precisar de compressão ou busca, não como verdade sobre o mecanismo.

Mito 4: Modelos pequenos revelam como os grandes funcionam

A maioria dos resultados canônicos pessimistas veio de modelos pequenos ou simplificados, como transformers de uma camada e redes de visão antigas. Há uma ironia conveniente aqui: modelos pequenos realmente ficam sem espaço, o que tornou a superposição a explicação natural para seu comportamento. Mas uma rede com pouco espaço não muda os princípios de aprendizado; seus neurônios apenas ficam mais amplos. Neurônios amplos parecem misturas arbitrárias para ferramentas primitivas. Aumente o modelo e esses neurônios amplos se diferenciam em outros limpos e específicos.

O mesmo raciocínio vale para as ferramentas. Os explicadores automatizados da era de 2023 não conseguiam rodar o ciclo de conjectura e teste: geravam uma hipótese a partir das ativações e a pontuavam por simulação, o que premia explicações plausíveis em vez de corretas. Ferramentas agentes modernas podem de fato intervir: aplicar patches em ativações, desligar um neurônio, prever o efeito, verificar o resultado. Esse ciclo fechado foi o que transformou “1,7% interpretável” em “~90% com um trabalho principal”, mais do que qualquer propriedade dos próprios modelos. Devemos ser humildes sobre quanto da literatura mede nossos instrumentos em vez das redes.

Há um paralelo aqui com outros casos em que a lacuna entre uma especificação e um sistema em execução escondeu o comportamento real. A lacuna entre especificação e implementação é onde vivem os bugs, e também é onde viviam os bugs fantasmas da interpretabilidade. Os pesos do modelo sempre foram a verdade de referência; nossas descrições deles é que funcionavam como especificação defeituosa.

Mito 5: A interpretabilidade não muda como você constrói

Mesmo praticantes que acompanhavam a literatura de interpretabilidade costumavam arquivá-la como “pesquisa de segurança, relevância: algum dia”. Hoje isso está errado, independentemente do que você pense das afirmações mais fortes. Se neurônios e circuitos são blocos de construção legíveis, eles se tornam alças: traços dirigíveis que você pode fixar, amplificar ou desligar em tempo de inferência. A direção de traços (reforçar uma direção de “veracidade”, suprimir uma de “bajulação”) já é uma técnica funcional, e é estritamente mais fundamentada quando o traço corresponde a um mecanismo real, e não a um artefato de reconstrução de um SAE.

Para depuração, o ganho é antecipação. Quando um modelo se comporta mal numa classe de entradas, a prática atual é arqueologia de prompts e achismo. Um circuito legível oferece algo mais próximo de um profiler: quais traços dispararam, o que os leu, onde a decisão de fato aconteceu. Isso complementa, em vez de substituir, técnicas comportamentais. Se você está moldando saídas de modelos em produção, a decodificação restrita cuida do contrato de saída, enquanto a interpretabilidade cuida do porquê. E para agentes que atuam de forma autônoma, a observabilidade interna acrescenta uma dimensão que guardrails externos não alcançam: já argumentamos sobre contenção versus monitoramento de agentes de IA, e o monitoramento fica substancialmente mais forte quando você consegue observar o mecanismo, não apenas o comportamento.

Há mais uma implicação que merece ênfase, e ela é sobre acesso. Todo esse programa de pesquisa depende de pesos abertos. Você não pode auditar circuitos em um modelo que só consegue consultar por uma API. Se entender os internos é pré-requisito para confiar em sistemas cada vez mais autônomos (e acho que é), então a abertura dos pesos não é uma ideologia opcional, é a base de toda a história de depuração.

O que realmente levar disto

Tirando o hype, o núcleo defensável é este: a evidência canônica de que as redes são arbitrariamente emaranhadas não se sustentou sob reexame, modelos modernos com ferramentas modernas parecem muito mais legíveis do que a literatura de 2023 sugeria, e a bagunça restante tem estrutura (generalização fractal) que você pode explorar em vez de desemaranhar. A versão forte, “interpretabilidade está basicamente resolvida, basta escalar”, tem um tom hipomaníaco familiar para quem acompanhou a primeira onda de entusiasmo com SAEs, e merece o ceticismo que está recebendo.

Para engenheiros que trabalham no dia a dia, meu conselho é concreto: pare de tratar os internos de modelos como caixa-preta por padrão. As ferramentas para sondar ativações, dirigir traços e rastrear circuitos estão amadurecendo rápido, e a barreira conceitual (“são só nós arbitrários, de qualquer forma”) nunca foi tão essencial quanto parecia. Redes neurais podem não ser limpas do jeito que nosso código é limpo. Mas estão muito mais perto de sistemas legíveis do que de mágica, e sistemas legíveis são coisas com as quais sabemos engenhar.