Mitos sobre la interpretabilidad mecanicista, a prueba

Durante años, la sabiduría convencional en interpretabilidad mecanicista era sombría: las redes neuronales son nudos enredados, y antes de entender una tienes que pagar a un segundo modelo para que la desenrede por ti. Esa creencia marcó las agendas de investigación, justificó subcampos enteros construidos sobre autoencoders dispersos y convenció en silencio a muchos ingenieros de que mirar dentro de un LLM era una pérdida de tiempo. Un investigador que ayudó a crear ese pesimismo acaba de matizarlo bastante, y te compres o no la versión más fuerte de su afirmación, es un buen momento para revisar lo que creemos saber sobre los internos de los modelos. Pongamos a prueba cinco creencias habituales frente a la evidencia.

Mito 1: las neuronas son hopelessly polisemánticas

La leyenda fundacional de la interpretabilidad moderna es la neurona polisemántica: una sola unidad que se activa tanto para caras de gatos como para frontales de coches, dos cosas sin relación evidente. Si las neuronas agrupan rutinariamente conceptos no relacionados, la lógica era que entender una red neurona por neurona estaba condenado desde el principio. Ese ejemplo hizo un trabajo retórico enorme. Era la prueba estrella que justificaba toda la visión de las “redes como nudos”.

La nueva afirmación es que la prueba estrella se interpretó mal. Cuando los investigadores rastrearon el circuito real detrás de la famosa neurona de coche y perro, ninguna capa posterior volvía a leer esa combinación concreta. La neurona no estaba contrabandeando una característica de coche por territorios ajenos; hacía generalización y composición ordinarias. Y la capa más caótica del modelo favorito de los primeros años del campo, la última capa de InceptionV1, que se consideraba casi sin neuronas interpretables, resulta ser 99–100 % interpretable tras ajustes arquitectónicos normales, sin cambiar el tamaño del modelo ni los datos de entrenamiento. El nudo era, en buena medida, un artefacto de medición.

Los modelos de lenguaje muestran el mismo patrón a otra escala. Las auditorías de 2023 dieron a la neurona mediana de un transformer pequeño una puntuación de cero en una rúbrica de interpretabilidad, y un gran proyecto automatizado de explicabilidad halló que cerca del 1,7 % de las neuronas era legible. Auditorías preliminares de modelos modernos de 32.000 millones de parámetros, con mejores herramientas, estiman que alrededor del 90 % de los polos de neuronas tiene un trabajo principal, otro ~7 % tiene dos trabajos relacionados, y solo unos pocos puntos porcentuales siguen siendo genuinamente misteriosos. La “polisemanticidad” restante a menudo se disuelve al inspeccionarla: una neurona que parece detectar tanto un sufijo como una frase completa como “hazlo tú mismo” no agrupa cosas sin relación, sino que creció de una a la otra.

Mi lectura: la creencia está muerta, pero su funeral debería ser sobrio. Un comentarista escéptico señaló que la complejidad progresiva de las características se conoce desde la era de las CNN, y que las representaciones condensadas y no semánticas están documentadas en otros lugares. “Menos polisemántica de lo que temíamos” está bien respaldado. “Nunca polisemántica” no está demostrado.

Mito 2: la superposición es un principio fundamental del aprendizaje

La superposición fue la teoría elegante que explicaba el desorden: cuando a una red se le acaban las neuronas, deja de agrupar cosas parecidas y empieza a plegar cosas no relacionadas en la misma unidad, aprovechando la geometría de los espacios de alta dimensión para que no interfieran entre sí. Según esta teoría, qué conceptos comparten una neurona te dice casi nada: el plegado es arbitrario, una de tantas configuraciones igual de buenas. Hay que desplegar antes de poder estudiar.

La contrapropuesta es casi decepcionantemente simple: solo hay un principio de aprendizaje, y es la generalización. Lo que parecía plegado es en realidad generalización recursiva: las neuronas brotan ramas como una rama de árbol que produce subramas. Una neurona que detecta “iy” crece hasta detectar “diy”, y luego todo el concepto “hazlo tú mismo”. Cada expansión va hacia territorio semántico adyacente, nunca hacia el azar. Y cuando reduces un modelo, no cambia de estrategia: las neuronas simplemente se vuelven más gruesas, y una neurona de “coche” cubre muchos tipos de coche en lugar de especializarse. Si lo escalas en un rango de tamaño de 300×, la legibilidad se mantiene: las neuronas se diferencian, no se enredan.

Esto importa porque cambia lo que significa la agrupación de una neurona. Con superposición, que una neurona se active para dos cosas es ruido. Con generalización recursiva, es una hipótesis sobre la jerarquía de conceptos del modelo: hay algo que aprender de por qué esas cosas comparten un hogar. También implica que las explicaciones pueden ser fractales: empiezas con una etiqueta gruesa y amplías cuando necesitas detalle. Para un ingeniero, es la diferencia entre un volcado hexadecimal y una traza de pila con nombres de símbolos.

Había dos explicaciones sobre la mesa: la generalización agrupa cosas parecidas, la superposición agrupa cosas no relacionadas. El campo apostó por la equivocada.

Añadiría una salvedad que los entusiastas pasan por alto: la superposición como fenómeno matemático —características representadas en menos dimensiones que el número de características— está bien establecida en modelos de juguete. Lo que se discute es si es la explicación correcta para las neuronas caóticas canónicas de redes reales. Son afirmaciones distintas, y confundirlas es la forma de sobrevalorar o descartar el resultado.

Mito 3: necesitas un autoencoder disperso para ver algo

La consecuencia práctica de la teoría del nudo fue metodológica: no estudies la red, estudia una descomposición de ella. Entrena un autoencoder disperso que aproxime la red “desplegada” e interpreta sus características aprendidas en lugar de las neuronas originales. Esto dio lugar a toda una industria de pipelines —aprendizaje de diccionarios, objetivos de reconstrucción, paneles de características— y a algunos resultados realmente impresionantes, como las características monosemánticas que Anthropic extrajo de modelos de escala similar a Claude.

Pero fíjate en lo que supone el enfoque de SAE: que la red original es ilegible y que la aproximación es donde vive la verdad. Si las redes ya son limpias, esa suposición se invierte. Las neuronas y los circuitos propios de la red pasan a ser el objeto principal de estudio, y el SAE se convierte, en el mejor de los casos, en una herramienta de compresión: útil para resumir, peligrosa si confundes el resumen con el sistema. Los SAE tienen sus propios modos de fallo: pueden inventar características que reconstruyen bien las activaciones sin corresponder a ningún mecanismo real, y sus errores de reconstrucción son exactamente el tipo de cosa que te muerde en un análisis crítico para la seguridad.

El flujo de trabajo alternativo se parece más a la depuración de toda la vida. Elige una neurona. Mira sus activaciones más fuertes y luego las débiles (resulta que las activaciones débiles son informativas: la famosa “neurona del Titanic” se activa débilmente con cosas de la misma época, como las máquinas de vapor, y eso es generalización, no confusión). Rastrea a qué se conecta río abajo. En modelos de mezcla de expertos, comprueba en qué se especializa su experto. La comprensión se acumula como un crucigrama: cada neurona que decodificas restringe a las de su alrededor. Nada de esto requiere entrenar un segundo modelo.

• Empieza por las activaciones fuertes de una sola neurona y luego inspecciona las débiles para ver el límite de la generalización.
• Sigue las conexiones río abajo para ver qué lee realmente la salida de la neurona; muchos “misterios” mueren aquí.
• Usa el circuito circundante y la especialización de los expertos como verificaciones cruzadas, como harías con llamadores y llamados en un profiler.
• Recurre a los SAE cuando necesites compresión o búsqueda, no como la verdad sobre el mecanismo.

Mito 4: los modelos pequeños te dicen cómo funcionan los grandes

La mayoría de los resultados pesimistas canónicos vienen de modelos pequeños o simplificados: transformers de una capa, redes de visión tempranas. Aquí hay una ironía conveniente: los modelos pequeños sí se quedan sin espacio, lo que hizo de la superposición la explicación natural de su comportamiento. Pero una red corta de espacio no cambia los principios de aprendizaje; simplemente sus neuronas se vuelven más anchas. Las neuronas anchas parecen mezclas arbitrarias para herramientas primitivas. Escala el modelo y esas neuronas anchas se diferencian en otras limpias y específicas.

La misma lógica se aplica a las herramientas. Los explicadores automáticos de 2023 no podían ejecutar el bucle de conjetura y prueba: generaban una hipótesis a partir de las activaciones y la puntuaban mediante simulación, lo que premia explicaciones que suenan plausibles sobre las correctas. Las herramientas agénticas modernas sí pueden intervenir: parchear activaciones, anular una neurona, predecir el efecto y comprobar el resultado. Ese bucle cerrado es lo que convirtió el “1,7 % interpretable” en “~90 % con un trabajo principal”, más que cualquier propiedad de los modelos en sí. Deberíamos ser humildes sobre cuánta de la literatura mide nuestros instrumentos en lugar de las redes.

Hay un paralelismo con otros casos en los que la brecha entre una especificación y un sistema en ejecución ocultó el comportamiento real: la brecha entre especificación e implementación es donde viven los bugs, y también es donde vivían los falsos bugs de la interpretabilidad. Los pesos del modelo fueron siempre la verdad de referencia; nuestras descripciones de ellos eran la especificación defectuosa.

Mito 5: la interpretabilidad no cambia cómo construyes

Incluso los practicantes que seguían la literatura de interpretabilidad solían archivarla como “investigación de seguridad, relevancia: algún día”. Eso ya no es correcto, independientemente de lo que pienses de las afirmaciones más fuertes. Si las neuronas y los circuitos son bloques de construcción legibles, se convierten en asideros: características orientables que puedes fijar, amplificar o anular en tiempo de inferencia. La dirección de características —potenciar una dirección de “veracidad” o suprimir una de “adulación”— ya es una técnica funcional, y es estrictamente más fundamentada cuando la característica corresponde a un mecanismo real y no a un artefacto de reconstrucción de un SAE.

Para depurar, la recompensa es la anticipación. Cuando un modelo se comporta mal con una clase de entradas, la práctica actual es la arqueología de prompts y la intuición. Un circuito legible te da algo más parecido a un profiler: qué características se activaron, qué las leyó y dónde ocurrió realmente la decisión. Esto complementa en lugar de reemplazar las técnicas conductuales: si estás ajustando las salidas de un modelo en producción, la decodificación restringida gestiona el contrato de salida, mientras que la interpretabilidad gestiona el porqué. Y para agentes que actúan de forma autónoma, la observabilidad interna añade una dimensión que las barreras externas no pueden ofrecer: ya hemos argumentado sobre la contención frente a la monitorización de agentes de IA, y la monitorización se fortalece mucho cuando puedes observar el mecanismo, no solo la conducta.

Una implicación más merece énfasis, y tiene que ver con el acceso. Todo este programa de investigación depende de los pesos abiertos. No puedes auditar circuitos en un modelo al que solo puedes consultar a través de una API. Si entender los internos es un requisito previo para confiar en sistemas cada vez más autónomos —y creo que lo es—, entonces la apertura de pesos no es una ideología agradable, sino la base de toda la historia de depuración.

Qué conviene llevarse de verdad

Quitando el bombo, el núcleo defendible es este: la evidencia canónica de que las redes están arbitrariamente enredadas no ha resistido una revisión, los modelos modernos con herramientas modernas parecen mucho más legibles de lo que sugería la literatura de 2023, y el desorden que queda tiene una estructura —la generalización fractal— que puedes aprovechar en lugar de desenredar. La versión fuerte, “la interpretabilidad está básicamente resuelta, solo hay que escalarla”, tiene un tono hipomaníaco muy conocido para quien vivió la primera ola de entusiasmo por los SAE, y merece el escepticismo que está recibiendo.

Para los ingenieros en activo, mi consejo es concreto: deja de tratar los internos del modelo como una caja negra por defecto. Las herramientas para sondear activaciones, orientar características y rastrear circuitos están madurando rápido, y la barrera conceptual —“al final todo son nudos arbitrarios”— nunca fue tan determinante como parecía. Las redes neuronales quizá no sean limpias del modo en que lo es nuestro código. Pero se acercan mucho más a sistemas legibles que a la magia, y los sistemas legibles son algo con lo que sabemos ingeniar.