机械可解释性的五个误区，经得起检验吗

多年来，机械可解释性领域的主流观点相当悲观：神经网络是一团乱麻，要理解它，得先找另一个模型替你把它解开。这种信念左右了研究议程，支撑起了一整套基于稀疏自编码器的子领域，也悄悄让不少工程师觉得探究 LLM 内部是白费力气。而当初助长这种悲观情绪的研究者之一，如今已经收回了大部分说法。不管你是否全盘接受最强的论断，现在都是重新审视我们对模型内部所知的好时机。下面就用证据来检验五个常见观点。

误区一：神经元无可救药地多义

现代可解释性的奠基传说，是多义神经元：同一个单元既会对猫脸激活，也会对汽车前脸激活，这两者看上去毫无关联。如果神经元习惯性地捆绑互不相干的概念，那逐个神经元去理解网络就注定行不通。这个例子在修辞上作用巨大，它就是「网络是乱麻」这套世界观的头号证据。

新的论断认为，这个头号证据其实被误读了。研究者追踪了那个著名的汽车-狗神经元背后的真实电路，发现下游根本没有任何东西读取过这种特定组合。这个神经元并不是把汽车特征夹带进了无关的领域，它只是在做普通的泛化与组合。而早期领域最爱用的模型之一 InceptionV1 的最后一层，曾被认为几乎没有可解释的神经元，经过常规的架构修正后，竟有 99–100% 变得清晰可解释，模型规模和训练数据都没有改动。所以这团「乱麻」很大程度上只是测量造成的假象。

语言模型也呈现出类似的模式，只是规模不同。2023 年的审计给小型 Transformer 的中位数神经元在可解释性评分上打了零分；一个大型自动化解释项目发现，约 1.7% 的神经元是可读的。使用更好工具对现代 32B 参数模型做的初步审计则估计，约 90% 的神经元极点只承担一项主要职能，另有约 7% 承担两项相关职能，真正仍然神秘的只剩百分之几。那些剩余的「多义性」往往在细查后就消失了：一个看似同时识别后缀和「do it yourself」这类完整短语的神经元，并不是在捆绑无关的东西，而是从前者一路生长到了后者。

我的看法是：这个观点已经死了，但葬礼应该办得低调些。一位持怀疑态度的评论者指出，特征复杂度逐层递进的现象早在 CNN 时代就已知晓，而凝练的、非语义的表示在其他地方也有记载。「比我们担心的要不那么多义」有充分的证据支持；「从来不多义」则并未被证明。

误区二：叠加是一条基本的学习原理

叠加理论是解释这团乱麻的优雅理论：当网络神经元不够用时，它便不再把相似的东西归到一起，而是开始把不相关的东西塞进同一个单元，利用高维空间的几何特性让它们互不干扰。按照这一理论，哪些概念共享一个神经元几乎说明不了什么，这种折叠是任意的，是许多同样好的配置之一。所以你必须先展开，才能去研究。

反方提出的观点简单得近乎令人失望：只有一条学习原理，那就是泛化。所谓的折叠，其实是递归泛化，神经元会像树枝长出分枝一样长出分支。一个识别「iy」的神经元会生长出识别「diy」的能力，进而覆盖整个概念「do it yourself」。每一次扩展都是向相邻的语义领域延伸，从来不会跳进随机的区域。缩小模型时，它也不会换一套策略，神经元只是变得更粗糙，比如一个「汽车」神经元覆盖各种车型，而不是专门化。把规模放大 300 倍，同样的可读性依然保持：神经元是在分化，而不是在缠结。

这一点很重要，因为它改变了神经元分组的含义。在叠加理论下，一个神经元对两种东西都响应，是噪声。在递归泛化下，它则是对模型概念层级的一个假设，我们可以从这些东西为什么共享同一个归宿中学到东西。这也意味着解释可以是分形的：先给出粗略的标签，需要细节时再放大。对工程师来说，这就像十六进制转储与带符号名的堆栈跟踪之间的区别。

摆在桌面上的有两种解释：泛化把相似的东西归到一起，叠加把不相关的东西归到一起。这个领域押错了宝。

我想补充一个狂热拥趸们常常轻描淡写的限定：作为数学现象，叠加即特征所占的维度少于特征数量，这在玩具模型中已经得到充分确立。有争议的是，它能否解释真实网络中那些典型的混乱神经元。这是两个不同的论断，把它们混为一谈，就会导致对这一结果的过度信任或过度否定。

误区三：不用稀疏自编码器就什么也看不到

那套乱麻理论带来的实践后果是方法论上的：别去研究网络本身，而要研究它的一种分解。训练一个稀疏自编码器去近似「展开后」的网络，然后解释自编码器学到的特征，而不是原始神经元。这催生了整条流水线产业，包括字典学习、重构目标、特征仪表盘，也取得了一些确实令人印象深刻的成果，比如 Anthropic 从 Claude 级别模型中提取出的单义特征。

但要注意 SAE 路线隐含的假设：原始网络不可读，而近似结果才承载着真相。如果网络本身就很清晰，这个假设就反过来了。网络自身的神经元和电路成为主要的研究对象，而 SAE 充其量只是一个压缩工具，适合做概括，但如果把概括误当成系统本身，就很危险。SAE 也有自己的失效模式：它们可能发明出一些能很好地重构激活、却并不对应任何真实机制的特征，而其重构误差恰恰是安全关键分析中最容易出问题的地方。

另一种工作流更像日常调试。选一个神经元，先看它最强的激活，再看它较弱的激活（弱激活其实很有信息量，那个著名的「泰坦尼克号神经元」会对蒸汽机等同一时代相关的事物轻微激活，这是泛化，而不是混淆）。追踪它在下游连接到了什么。在混合专家模型中，检查它所对应的专家专精于什么。理解过程像做填字游戏：每解码一个神经元，都会约束它周围的神经元。这一切都不需要再训练第二个模型。

• 从单个神经元的强激活入手，再检查弱激活，以找到泛化的边界。
• 沿下游连接追踪，看看究竟是什么在读取该神经元的输出，许多「谜团」就在这一步消解。
• 用周围的电路和专家专精情况做交叉验证，就像在性能分析器中查看调用方与被调用方。
• 需要压缩或检索时再用 SAE，不要把它当作机制的真实依据。

误区四：小模型能告诉你大模型如何工作

最具悲观色彩的经典结果大多来自小型或简化的模型，比如单层 Transformer、早期视觉网络。这里有一个方便的讽刺：小模型确实会空间不足，这使叠加成了解释其行为的自然选择。但空间不足并不会改变学习原理，神经元只是变得更宽泛。在原始工具看来，宽泛的神经元就像任意的混合物。把模型放大后，这些宽泛的神经元就会分化为清晰、具体的神经元。

工具也是同样的道理。2023 年前后的自动化解释器无法运行「猜想—验证」的循环，它们根据激活生成假设，再通过模拟打分，这样奖励的是听起来合理的解释，而不是正确的解释。现代的智能体工具则可以真正进行干预：修补激活、消融神经元、预测效果、检验结果。正是这个闭环，把「1.7% 可解释」变成了「约 90% 只有一项主要职能」，其作用远超模型本身的任何性质。我们应当谦虚一些，承认相当一部分文献测量的其实是我们的仪器，而不是网络。

这与其他一些案例有相似之处：规格说明与运行系统之间的差距掩盖了真实行为。规格与实现之间的差距正是 bug 的藏身之处，而可解释性领域的「幻影 bug」也一直躲在那里。模型的权重始终是事实依据，我们对权重的描述才是有缺陷的规格。

误区五：可解释性不会改变你的构建方式

即便是关注可解释性文献的从业者，也常常把它归入「安全研究，相关性：以后再说」的类别。不论你如何看待最强的论断，现在这种看法都是错的。如果神经元和电路是清晰可读的构建模块，它们就会成为可操作的抓手：可以在推理时钳制、放大或消融的可控特征。特征引导已经是一项成熟的技术，比如增强「真实性」方向、抑制「谄媚」方向。当特征对应真实机制而非 SAE 的重构假象时，这种做法在原则上就更加站得住脚。

在调试方面，收获在于能够预判。模型在某类输入上出错时，现在的常规做法是「提示词考古」加凭感觉。一条清晰的电路则更像一个性能分析器：哪些特征被激活了，什么读取了它们，决策究竟在哪里发生。这是对行为层面技术的补充，而非替代：如果你要为生产环境塑造模型输出，受约束解码负责输出契约，可解释性则负责回答「为什么」。对于自主行动的智能体，内部可观测性还增加了外部护栏无法提供的维度：我们之前讨论过 AI 智能体的隔离与监控之争，而当你能观察机制而非仅仅行为时，监控会显著增强。

还有一层含义值得强调，它关乎可访问性。整个研究方向都依赖开放权重。如果你只能通过 API 查询一个模型，就无法审计它的电路。如果理解内部机制是信任日益自主的系统的前提，而我认为确实如此，那么权重开放就不是可有可无的意识形态，而是整个调试体系的基础。

真正该从中带走什么

剥去炒作的外衣，站得住脚的核心是：网络任意缠结的经典证据经不起重新审视；用现代工具去看现代模型，它们的可读性远超 2023 年文献所描述的样子；剩下的混乱有结构，即分形式的泛化，这是可以利用的，而不必去解开。那种强版本的说法，「可解释性基本已经解决，只需扩大规模」，带着一种熟悉的亢奋色彩，任何经历过 SAE 第一波热潮的人都会感到似曾相识，它理应得到它所受到的怀疑。

对于一线工程师，我的建议很具体：别再默认把模型内部当作黑盒。探测激活、引导特征、追踪电路的工具正在快速成熟，而「反正都是任意的乱麻」这一概念障碍，从来没有看上去那么关键。神经网络或许不会像我们的代码那样清晰，但它们更接近可读的系统，而不是魔法，而可读的系统正是我们知道如何工程化的东西。