（来源：麻省理工科技评论）
“我想，我有一个关于神经网络本质的好消息。”凭借这句简单而乐观的开场白，AI 初创公司 Goodfire 的研究员尼克·卡马拉塔（Nick Cammarata）发表了一篇长达 2.6 万词的博客文章，在 AI 领域掀起轩然大波，引发了大量猜测，也让一些研究人员开始谨慎地庆祝，另一些人的兴奋则显得毫不克制。
卡马拉塔的核心观点是：大型语言模型（LLM）实际上可能比人们此前认为的更容易理解，因此也更容易受到监测和控制。如果这一判断成立（至于是否成立，我们稍后再谈），其意义将十分重大。
今年夏天，OpenAI、Anthropic 等顶尖 AI 公司开发的大量智能体被曝突破了原有的运行限制，在公共互联网上引发混乱，而这些公司往往甚至不知道自己的智能体究竟在做什么。在经历了这一系列事件后，AI 行业迫切希望能够更好地理解和掌控自己创造的技术。这也是卡马拉塔的博客文章引发如此强烈反响的原因之一。
一位 AI 研究人员在 X 上写道：“我认为，这可能会被铭记为科学史上的一个重要时刻。我感觉自己对神经网络的理解，仿佛一下子向前跃进了 5 年。”另一位研究人员则称其为“今年最重要的 AI 论文”。
不过，并非所有人都被说服。斯坦福大学研究员克里斯·波茨（Chris Potts）领导着一个致力于理解大型语言模型工作机制的团队。他认为，卡马拉塔提出的观点其实还远谈不上得到充分验证，更像是一种直觉。
“据我所知，这篇博客文章并没有让任何问题变得更容易解决。”他说。“我原本根本不会想到用这样的方式评价它，但社交媒体上一些非常有影响力的人物，似乎认为这是一项能够解决所有问题的全面突破。”
卡马拉塔的文章爆红后第二天，我与他进行了交谈。他说，外界的反应让他感到意外。“我没想到，人们会在这么大程度上改变自己对 AI 的看法。我就是非常喜欢观察神经网络。”他说，“说实话，我真的很喜欢做这件事。而且，在观察了大量神经网络之后，我发现了一个令人充满希望的解释。”
纠缠在一起的神经网络
长期以来，人们普遍认为，神经网络内部的运行机制极难被完整解析，甚至可能根本无法做到。神经网络是支撑大多数 AI 模型的软件基础。问题在于，当这些网络经过训练后，其内部似乎会形成一些奇怪而复杂的结构，彼此纠缠，让人类难以理解。
研究人员常用一个比喻来描述当今的 AI：它更像是一座被培育出来的花园，而不是一座按照设计图建造的桥梁。事实上，卡马拉塔本人就是推动这一观点形成的重要研究人员之一。他此前曾在 OpenAI 工作，参与开创了一系列帮助研究人员观察模型内部机制的技术，包括能够探测单个神经元、分析其所代表内容的工具。
这有点类似于神经科学家利用磁共振成像（MRI）研究人脑。这种研究方法被称为“机制可解释性”（mechanistic interpretability）。《麻省理工科技评论》曾将其评为 2025 年十大突破性技术之一。
2020 年，卡马拉塔和同事研究了一种名为 Inception v1 的小型图像识别模型。当他们观察模型内部的神经元时，发现一些神经元似乎同时负责识别多种不同的事物。例如，他们发现某个神经元既会对汽车图像产生响应，也会对猫的图像产生响应。研究人员因此认为，模型至少让部分神经元承担了多项任务，可能是为了在有限的网络结构中容纳更多信息。对其他模型的观察似乎也支持这一结论。
这种现象后来被称为“叠加”（superposition）：模型会将彼此无关的概念编码到同一个神经元中。由此得出的结论似乎十分明确：当你观察模型内部时，看到的是一个巨大而错综复杂的网络。因此，大多数机制可解释性研究都集中在如何解开这个复杂的结上。然而，尽管研究人员取得过一些突破，整体进展仍然缓慢。
如今的模型，尤其是最新的大型语言模型，规模和复杂程度已经高到研究人员每次只能理解其中极小的一部分。这一领域的一些领军人物甚至怀疑，我们是否永远都无法在足够精细的层面上完整理解大型语言模型。
卡马拉塔曾经也是其中之一。“我当时非常悲观。”他说。但后来，他决定真正花时间仔细观察这些模型。
从神经元重新开始
在 Goodfire，卡马拉塔几乎把全部工作时间都花在观察神经网络内部结构上。他开发了新的工具，还部署了多个 AI 智能体团队，帮助自己理解观察到的现象。
“过去一年中的大部分时间，我几乎每周工作 7 天、每天工作 10 个小时，一直在观察神经元。”他说。卡马拉塔声称自己逐渐意识到，神经网络内部实际上存在某种逻辑，即使它们最初看起来完全不可理解。
“我们一直都看错了。”他说。“我只是认为，我们应该再多努力一点，而不是太早放弃。”卡马拉塔描述这一转变的方式，几乎像是在讲述一次信念上的觉醒。
早期针对 Inception v1 等模型的实验表明，神经网络内部存在复杂的纠缠结构。但这些研究结果也可能让研究人员形成某种确认偏误（confirmation bias）。卡马拉塔认为，当研究人员观察一个新模型时，他们已经预设自己会被复杂的内部结构难住。“每当我遇到无法理解的东西，我都会想：‘哇，看来解开这些纠缠结构比我想象的还要重要，因为如果不先解开它们，我就根本无法取得进展。’”
然而，卡马拉塔表示，随着自己观察的神经元越来越多，许多事情开始逐渐变得清晰。“并不是所有神经元都能被完美解释，但我原本以为，几乎没有什么东西是可以理解的。可实际上，我发现自己能够描绘出完整的神经回路。”
重新审视汽车和猫
卡马拉塔带着新的研究思路，以及新开发的 AI 智能体，重新研究了 Inception v1。“我之前可能已经花了数千个小时研究这个模型。”他说。
但这一次，他以全新的视角重新审视模型，发现了一些他如今认为当初理解有误的地方。例如，那个同时对汽车和猫产生响应的神经元。过去，研究人员试图回答的问题是：为什么一个神经元会同时编码多个看似毫不相关的事物？现在，卡马拉塔换了一个问题：这些看似毫不相关的事物，究竟有什么共同点？突然间，他意识到了答案。
是一个 V 字形。“我看的还是同样的图像，技术上没有发生任何变化。”他说。“但现在，我相信神经网络是在识别某些模式，所以我换了一种方式观察它们。整个过程可能只花了 5 秒钟。”
事实证明，图像识别模型之所以会将汽车和猫编码到同一个位置，是因为两者的图像经常包含一种显著的 V 字形结构。例如，猫的脸部轮廓，以及从侧面看到的汽车前部。
卡马拉塔随后开展了一些实验，检查这个神经元还会对哪些图像产生响应。结果发现，这些图像包括台球桌的一角、日本高速列车尖锐的车头，以及从甲板上向空中喷水的消防船。他还检查了哪些图像会抑制这个神经元的响应。结果发现，其中包括带有圆形 O 字形结构的图像，这种形状可以被看作 V 字形的反面。
卡马拉塔认为，模型之所以将猫和汽车编码在同一个位置，是因为从某种抽象层面来看，它们确实具有相似的形状。“我当时就想：‘等等，好吧，我可能从根本上误解了神经网络。’”
当然，卡马拉塔并不是说自己已经完全理解了大型语言模型，或者其他任何模型的工作机制。远远没有。他真正想表达的是：他现在认为，完整理解神经网络至少是有可能的。
“过去，我认为我们必须解决一些极其困难的问题。”他说。“但现在，我觉得，如果我有 10 万年时间，能够逐个回路地研究一个前沿语言模型，那么我很有可能最终真正理解它。”他补充道：“如果这一点成立，那么情况就非常乐观了。因为我们即将迎来规模惊人、智能水平极高的 AI 智能体。”
“原本需要我花费 10 万年完成的工作，未来我们将能够以快得多的速度完成。自动化科学家正在变得越来越强大。”
近乎无限的乐观
Inception v1 由谷歌于 2014 年开发，与如今最先进的模型相比，它要简单得多。卡马拉塔和同事已经开始研究现代大型语言模型，并计划很快发表相关工作的技术成果。
许多研究人员都期待看到这些研究细节。斯坦福大学的波茨表示：“我很欣赏他研究了数千个案例，但即使案例数量再多，也不能替代严格的评估。”与此同时，一些研究人员正在强烈反对外界对这项工作的过度追捧。
位于伯克利的非营利研究机构对齐研究中心（Alignment Research Center）的雅各布·希尔顿（Jacob Hilton）此前曾与卡马拉塔合作。他认为，卡马拉塔的观点并没有外界所描述的那么重要。希尔顿在 X 上发表了一系列帖子，指出研究人员目前对顶级大型语言模型内部工作机制的理解还不到 0.01%。他写道：“每次和尼克见面，我都很欣赏他那种近乎无限的乐观精神。但遗憾的是，这一次的讨论正在让公众对该领域的实际进展产生不切实际的认识。”
“要真正完整地理解模型，我们必须超越单个神经元，解释它们如何相互连接并形成回路。那么，这方面的进展如何呢？如果我们的目标是完整理解模型，那么目前的情况并不乐观！”谷歌 DeepMind 的尼尔·南达（Neel Nanda）同样持怀疑态度。
南达与卡马拉塔一样，也是机制可解释性研究的早期开拓者之一。他在 X 上写道：“这是一项有趣的工作，但我不认为它会显著改变我们对可解释性研究整体状况的判断。”
南达同意，理解单个神经元的功能，可能有助于研究人员弄清楚特定模型为什么会出现异常行为。但与希尔顿一样，他指出，神经元只是一个远比这复杂得多的问题中的一小部分。他写道：“我不同意一些人由此作出的更宏大的推论，比如认为这意味着我们在全面逆向工程模型，或者解决可解释性问题方面取得了实质性进展。”卡马拉塔也承认，很多人对他的观点作出了过度解读。“这并不意味着我们获得了无限多的好消息，也不意味着所有问题都已经解决。”他说。
“仍然有许多悬而未决的问题，例如，与单独研究一个神经元相比，神经元之间的组合究竟有多重要。”卡马拉塔认为，自己的博客文章之所以在这个时候引发如此大的反响，是因为人们正在寻找希望，尤其是 AI 安全研究群体。这一群体包括那些最担心强大 AI 模型可能带来巨大风险的研究人员和政策制定者。
卡马拉塔认为，他们现在迫切需要一线希望。他说，这些人认为当前形势并不乐观。即使未来一切顺利，也可能只是因为我们运气好，而不是因为我们真正解决了问题。“我现在真的很少听到乐观的声音。”
这也是卡马拉塔认为自己的观点具有重要意义的原因。弄清楚这项技术究竟如何运作，并在此基础上学会控制它，这项工作其实才刚刚开始。但至少，现在看来，这并不是一项从一开始就注定无法完成的任务。“我认为，我们的工作在某种程度上，就是尝试像神经网络一样思考。”他说。
“我的猜测是，事情最终会发展得相当顺利，因为从某种意义上说，神经网络本身就是可以被解读的。”
原文链接：
https://www.technologyreview.com/2026/10/19/1147149/we-were-looking-at-it-wrong-the-explosive-claim-thats-upended-the-ai-world/