AI 发展到今天，真正让一些研究人员感到不安的，可能已经不止是模型会不会“胡说八道”的问题了。

9 月 9 日，一位曾先后在 OpenAI 和 Anthropic 从事预训练研究的 AI 研究员 Jacob Coxon 在社交媒体平台 X 上宣布自己从 Anthropic 离职。

离职之际，他连发数条帖子，解释自己为什么选择离开。在他看来，OpenAI 和 Anthropic 都没有以足够负责任的方式推进 AI，而是在一路加速冲向“能够自我改进的超级智能领域”，并且是在拿「全人类的命运下注」。

此番言论一出，引发不少网友的讨论。 截至发稿时，相关帖子已经获得 3300 万的关注度，评论近 7000 条。争论的焦点也非常集中：AI 真的已经危险到需要踩刹车了吗？还是说，这又是一轮熟悉的“AI 末日言论”？

“他们自己都害怕，却还在继续造”

Jacob Coxon 最值得关注的一点，是他并不是站在 AI 行业之外的人。

正如上文所提及的，过去三年，他先后在 OpenAI 和 Anthropic 做预训练研究，也就是说，他亲身参与过目前全球最先进的一批 AI 系统的研发。

他强调，不要低估 AI 这项技术的力量——我们很快就会拥有超越人类能力的系统：它们可以攻破几乎任何系统，在一夜之间彻底改变某个领域，并获得现实世界中的权力和资源。而真正让他感到恐惧的，并不是某一个具体模型，而是 AI 能力增长的速度仍然没有明显放缓。

Jacob Coxon 揭露道，其实很多真正参与 AI 开发的人都真心相信：十年内，AI 可能会毁灭我们所有人。

这并不是什么营销噱头。恰恰相反，很多高管和资深研究人员在面对媒体时，会刻意用听起来更加理性的措辞来谈论这些风险——但私下里，我听到的却是同一批人在表达恐惧。

没有任何其他人类活动，能够带来如此级别的危险。

由此，他也引出了一个很多人都会问的问题：

如果这些 AI 公司真的相信超级智能可能毁灭人类，为什么他们还在继续研发？

作为曾在 OpenAI、Anthropic 两家公司工作过的研究员，Jacob Coxon 从个人角度解析道：OpenAI 和 Anthropic 的情况并不完全一样。

按照他的说法，OpenAI 内部很多人还没有真正意识到这件事可能对人类文明意味着什么；而在 Anthropic，众人其实非常清楚其中的利害关系，但他们已经陷入了一场争夺“率先抵达终点”的竞赛——他们认为，其他人不会负责任地行事，所以即使明知道存在风险，也必须由自己来做。

Jacob Coxon 坦言，这其实就是 AI 竞赛最危险的地方——「接受这场竞赛，并开始进入所谓的“终局”，是一场极其自负的豪赌。这样的决定，不应该仅仅在一家私人公司的 Slack 里被启动。如果要如此仓促地推进 AI 对齐研究，就必须有非同寻常的把握，确信不存在其他更好的发展方向。」

他呼吁：暂时停止继续提升模型能力

面对 AI 不断加速的发展，Jacob Coxon 没有认为事情已经到了无可挽回的地步。相反，他依然相信，不同 AI 实验室之间存在协调的可能。

在他看来，最近发生的 Hugging Face 事件就是一个值得重视的“警告信号”。这类事件让人们更加直观地看到，当 AI Agent 获得工具调用、网络访问和自主执行任务的能力后，AI 带来的风险可能已经不再只是“模型回答错了一道题”这么简单。

Jacob Coxon 指出，类似 Hugging Face 这样的事件，反而可能促使美国各家 AI 实验室重新考虑发展节奏，并为彼此之间达成某种“放慢速度”的协议创造条件。

但问题在于，截至目前，他并没有看到这种协调正在发生。

“我不觉得我们正朝着阻止全球 AI 竞赛的方向前进。”他写道。

Jacob Coxon 称，如果想真正阻止这场竞赛，可能需要采取代价更高、也更激进的措施，例如暂时禁止继续提升模型能力。

Hacker News 热议：到底是“末日论”，还是我们根本没有意识到危险？

这显然不是一个轻松的主张，争议也自然随之而来。

有人认为 Jacob Coxon 的说法过于悲观：

“没有任何其他人类活动能够带来如此级别的危险。”

我确实会认真对待这些警告，但这番说法听起来有些脱离现实，甚至有点夸张。全球变暖、核武器研发、贫富差距、战争、对技术的依赖等等，都可能带来极其严重的风险。

而且，这件事其实与大语言模型或计算机本身没有太大关系。归根结底，和所有事情一样，真正的问题在人类自己。

也有不少用户表态：

继续竞速冲向 AGI，可能仍然是最好的选择。

那些整天谈论 AI 风险和危险的人，我觉得很多只是在装腔作势，或者故意摆出一副忧心忡忡的样子。至少从目前来看，AI 并没有比核武器带来更切实的风险，而我们最终也成功处理了核武器的问题。

更何况，AGI 一旦实现，可能带来的好处实在太大了。

当然，也有人对 Jacob Coxon 的选择提出了另一个非常尖锐的问题：

如果你认为 AI 的发展方向有问题，为什么要离开，而不是留下来改变它？

如果他真的相信自己的判断，那么离职未必是最好的选择——留下来至少还能影响研究方向。

但也有人为 Jacob Coxon 辩护。他们认为，如果一个研究人员已经认为某项工作正在跨越自己无法接受的红线，那么离开至少意味着他不再为这条路线贡献力量。

更重要的是，离职本身也可以成为一种公开的警告。

这或许也是 Coxon 选择写下这篇长贴，而不是悄悄离开的原因。

他最后把问题重新抛给了仍然留在 AI 实验室里的研究人员：

如果你是一名 AI 实验室的研究人员，我希望你认真想一想：接下来的几年，究竟会是什么样子？

当你还没有严格理解一个超级智能系统的“思维方式”时，你真的愿意启动一次针对超级智能的强化学习训练吗？

当所有人都告诉你“反正这件事迟早会发生”时，你应该低头继续做下去？

还是说，现在正是站出来，要求改变研发条件、改变发展方式的时刻？

这个问题，他没有替其他人回答。那么，对于时下飞速进化的 AI，你如何看待其对人类的影响？欢迎留言分享你的观点。

参考：

https://news.ycombinator.com/item?id=49619227

https://x.com/hilbertspaess/status/2097476216139968662