OpenAI 可解释团队创建人 Nick Cammarata 本周发布长文，称借助现代智能体工具，万亿参数级大模型也已经变得“几乎可读”。他认为，过去对神经网络“黑箱”的关键判断存在偏差，很多预想中的障碍并不存在，可解释性问题有望被解决，而且进展可能比外界想象得更快。
在这篇阅读时长约 65 分钟的文章中，Cammarata 给出的核心判断是：神经网络未必是一团难以拆开的“死结”，多义性也未必像过去假设的那样普遍。已有研究者对这篇文章作出解读，其中一个最受关注的结论是，在 Qwen-32B 中，约 90% 的神经元只有一个任务。
“叠加”假说遭到重新审视
过去几年，AI 可解释性研究中一个广泛接受的前提是，神经网络内部像一团打结的线。当神经元容量不足时，模型会把彼此无关、但不容易同时出现的概念压进同一个神经元。这种解释通常被称为 superposition，也是很多安全研究路径的基础。
在这套思路下，研究者往往需要先训练第二个模型，例如稀疏自编码器（SAE），把这些纠缠的表征重新拆开，再试图理解原模型内部到底发生了什么。
Cammarata 现在的看法与此明显不同。他表示，问题可能不在于神经网络天生混乱，而在于研究者过去误读了它。
“猫脸和汽车前脸”可能指向同一个形状特征
机制可解释性的目标，是追踪神经元和计算回路，解释模型如何得出答案。其中一个长期难点在于，单个神经元经常会对看上去毫不相关的对象产生响应。
文中提到的经典案例来自视觉模型 InceptionV1：同一个神经元既会识别猫脸，也会识别汽车前脸。过去的重要解释是，模型因为表示空间有限，只能把不相关概念压缩进同一组神经元。
但 Cammarata 在重新检查图像和连接关系后认为，这个案例本身就可能看错了。猫脸和汽车前脸共享的也许不是“类别”，而是一个更底层的特征——V 形。这个神经元还会与 V 形火焰、狐狸脸等内容相关，而圆形则会把它推向负向响应。
按这一解释，所谓“猫”和“汽车”只是人类使用的分类方式，网络真正捕捉到的可能是跨类别的形状规律。Cammarata 也据此提醒，神经元未必是在给对象贴标签，它们也可能承担“区分模式、把信息送往不同下游回路”的作用。
多义神经元未必是无关概念的混装
对于那些确实呈现多种用途的神经元，Cammarata 也没有直接接受“随机混装”的解释。他提出“递归泛化”（recursive generalization）这一说法，认为神经元可能从一个模式出发，逐渐长出语义相邻的分支，而不是在高维空间中随意塞入互不相关的信息。
文中的例子是，一个识别“iy”的神经元，可能扩展到“diy”，再扩展到完全不含“iy”的“do it yourself”；一个与地质相关的神经元，也可能延伸到名为 Cesium 的地理 JavaScript 库。按他的说法，这种演化更像在相邻语义区域内自然生长，而不是把毫无关系的概念强行压在一起。
他还表示，superposition 是一种最激进、也最难证伪的解释，因此理应成为最后提出的假设，而他自己此前多年也一直相信这一理论。
从结果上看，训练结束后神经元的响应可能显得分散；如果沿着训练过程观察，则能看到这些用途是如何连接起来的。
工具本身也可能制造误判
Cammarata 团队还发现，自动解释工具有时会把神经元的意义理解错位。文中举例称，一个被自动解释工具标记为“多义逗号神经元”的单元，实际与美国科罗拉多州有关。它会对当地电话区号、俚语等信息产生响应；增强这个神经元后，模型还会更倾向于规划徒步旅行。
逗号之所以频繁出现，只是因为它位于模型汇总前文语境的位置。若只盯着响应出现在哪个字符上，反而可能错过真正的语义内容。
Qwen3-32B 初步审查：约 90% 神经元各有一项主要工作
文中给出了一组受到广泛关注的数字。Cammarata 提到，OpenAI 在 2023 年推进自动可解释性项目时，即便采用最宽松标准，也只找到约 1.7% 可解释神经元。
而在对 Qwen3-32B 的初步审查中，他估计约 90% 的神经元在正、负两个“极”上各自有一项主要工作，约 7% 有两项相关工作，约 2%—4% 仍未理解。文中同时注明，这一结果会受激活阈值以及如何界定“一项工作”影响。
他还称，稠密模型与 MoE 模型得出的结论相近。在 Kimi K3 上，团队做出了已知首个万亿参数模型的归因图。以“捡到钱包”的问题为例，钱包、现金、证件会连通到失物招领与诚实，最终输出“归还”。
用新工具重新检查当年的 GPT-2 XL 后，他估计约 70% 的神经元也已经大致是“一回事”。
智能体把可解释性研究推向更大规模
这项工作的另一条主线，是智能体工具改变了研究规模。文中称，AI 可以检查神经元样本、提出解释、追踪上下游连接，再设计实验寻找反例。研究者让智能体检查了十万张归因图，而作者本人也检查了数千张。
为了避免 AI 生成听起来合理、但其实错误的故事，团队采用了一套检验方法：由第一个智能体研究某个神经元并写下解释，再由第二个智能体只根据这份解释构造一个预计会强烈激活它的新样本，随后交给网络实测。
Cammarata 报告称，其中一些新样本的激活强度，超过了他们从百亿 token 语料中找到的全部例子。团队也会构造“看起来接近、实际不应触发”的反例，并通过移除神经元、增强激活等干预，检查解释是否真的能够预测模型行为。
在这套框架下，解释不再只是一个讲得通的故事，而成为可以被实验推翻的假说。
理解得越多，剩下部分可能越容易解释
Cammarata 还提出一个看起来有些反直觉的观点：当研究者理解了更多网络结构后，尚未理解的部分有时也会变得更容易分析。其逻辑类似填字游戏——已知答案越多，空白位置可填入的内容就越受约束。
他同时认为，更大的模型可能意味着更细的分工，这反而会让神经元更容易辨认。
基于这一点，他把当前方向形容为可解释性领域自身的“苦涩教训”：简单的观察、提出假设与实验检验，在规模足够大时，也许比不断设计复杂拆解方法更有效。
作者称这不是“可解释性已经解决”的宣言
尽管文章语气乐观，Cammarata 也明确表示，这并不等于“可解释性已经解决”。注意力机制、完整模型审计，以及如何把理解转化为可靠的安全改进，仍然有大量工作要做。
不过，这篇文章提出了一个值得继续检验的方向：如果神经网络内部本身就存在可追踪的组织结构，那么未来的突破，可能来自一个由 AI 科学家参与运转的实验体系，持续观察模型、提出问题，并逐个验证答案。
参考内容包括 already-clean.goodfire.com 与 Hacker News 上的相关讨论。本文输入信息显示，原文来自微信公众号“机器之心”，作者署名为“关注大模型的”。