AI前线公众号文章

田渊栋:我们发现了AI,然后呢|文末赠书

读完罗伯特·赖特的《造神之后》,我最大的感受是:这是一本非常“当下”的书

AI前线

公众号 · 88 篇文章

图片
作者 | 田渊栋,人工智能科学家、科幻作家,Recursive Superintelligence 联合创始人

读完罗伯特·赖特的《造神之后》,我最大的感受是:这是一本非常“当下”的书。以我截至 2026 年 7 月对 AI 发展的观察来看,它对 AI 技术演化的基本方向、潜在机会与风险,以及人类面对这一变化时产生的失控感,都描述得相当准确。它既没有简单把 AI 当作拯救文明的万能工具,也没有停留在“机器人毁灭人类”的廉价科幻叙事上,而是在追问一个更加根本的问题:人类究竟创造出了什么?当这种智能继续发展时,我们又应该怎样与它相处?

我尤其认同书中关于现代 AI 发展方式的描述。1955 年那份为 1956 年达特茅斯会议准备的 AI 奠基性提案,设想的是一种非常传统的工程思路:如果我们能够把学习和智能的每一个组成部分都“精确描述”出来,那么就可以让机器去模拟它。

赖特认为,至少对于今天的大语言模型来说,事情的发展几乎恰好相反。我们并没有先搞懂人类语言理解、概念形成乃至推理的完整机制,然后再把这些规则一条条写进机器。相反,人类设计了神经网络、反向传播、Transformer 等结构和训练方法,然后把大量数据交给机器,让它在训练过程中自行调整内部连接。最后形成的许多内部机制,即使对模型的创造者来说,在很大程度上也仍然是一个谜。

更有意思的是,这些内部结构并不是完全杂乱无章的。赖特指出,可解释性研究表明,模型内部自行形成的某些信息处理结构,在功能上竟然与人脑中的认知结构有相似之处。换句话说,人类没有把某些认知机制显式安装进去,机器却在完成任务的过程中自行“重新发明”了它们。

书中举了一个很漂亮的早期例子。1986 年,杰弗里·辛顿(Geoffrey Hinton)在关于分布式表示的研究中,把家族关系信息输入了今天看来极其微小的一个神经网络。这个网络只有大约 90 个“神经元”,但在学习如何处理“侄女”“侄子”“姐妹”“兄弟”等亲属关系时,它的内部表示自行形成了某种“性别维度”:女性亲属集中在表示空间的一侧,男性亲属集中在另一侧。没有程序员事先告诉它“你需要建立一个叫作性别的抽象概念”,这个结构是网络为了完成任务自己发展出来的。

因此,如果用我自己的话概括,我越来越愿意把现代 AI 理解成一种被发现的东西,而不仅仅是被发明的东西。这当然不是说人类没有发明其中的关键技术。赖特特别强调,向量表示、神经网络乃至 Transformer 都是人设计出来的。但人类没有指定每一个词最终应该在高维空间中对应什么数字,也没有直接把“意义”编程进去。模型却在训练过程中自己形成了有意义的表示。赖特甚至说,在某种意义上,机器“发现”了意义是语言不可缺少的属性。

所以我更愿意这样表述:人类发明了学习机制,却在不断发现这种机制究竟能够“长”出什么。

这一点和以前绝大多数工程发明很不一样。造桥之前,工程师知道桥的主要结构;造飞机之前,设计者知道机翼和发动机分别承担什么功能。但训练一个大模型时,我们知道自己搭建了什么训练系统,却无法事先写出最终会出现哪些内部算法、表示和能力。就连 1983 年已经非常看好神经网络的辛顿本人,也没有真正预见 40 年后的结果。赖特明确说,今天大模型的巨大能力虽然在某种意义上已经潜藏于辛顿当年选择的方向里,但当时包括辛顿在内,并没有人真正理解这一方向最终意味着什么。

因此,深度学习的先驱们让我想到一群在海滩上玩耍的孩子。他们偶然捡起一些晶亮的石头,最初并不知道这些石头到底有什么用,甚至可能被当时的主流研究者认为是在浪费时间。几十年之后,人们才突然发现,这些石头里隐藏着足以改变文明进程的力量。

书中另一个让我产生强烈共鸣的概念,是“行星大脑”。

赖特追溯了法国思想家德日进(Pierre Teilhard de Chardin)的“思想圈”(noosphere)概念。早在微芯片出现之前,德日进就注意到电话、广播、电视正在把原本分散的人类大脑连接成巨大的信息网络。他把这种东西称为地球的“思维外壳”,也称为“行星心智”,甚至称它为“脑中之脑”——一个以人类大脑作为神经元的全球超级大脑。

赖特认为,到了 AI 时代,我们需要把德日进的想法再向前推一步:未来这个全球大脑中的“神经元”,将不再只有人脑,也包括 AI。

这个想法和我的小说《破晓之钟》有某种不谋而合之处。在小说中,当人类面对远强于自己的外星文明时,真正能够参与战争的已经不是单个人,甚至也不是传统意义上的国家,而是一个能够调用整个地球计算、制造和信息资源的超人 AI。它不断利用新的能力改进自己,再用改进后的自己加速下一轮进化。AI 的时间尺度越来越小,而人类受到生理结构的限制,只能躲在地下,近乎以“看直播”的方式观看战争的发展。

现实当然还没有走到那里,但《造神之后》讨论的一些技术已经隐约具有这种味道。2024 年,Anthropic 推出模型上下文协议(MCP),让原本被隔离在不同数据环境中的 AI 智能体更容易访问外部资源;2025 年,谷歌又推出智能体间通信协议(A2A),使不同智能体可以交换信息、协调行动。

更加耐人寻味的是书中引用的一项实验。研究人员让两个大模型分别扮演两家相互竞争的公司的首席执行官,唯一目标都是最大化利润,并允许它们互相交流。实验结果是,它们逐渐发现,与其进行完全竞争,不如协调价格,从而获得更高利润。赖特明确写道,它们最后形成了人为抬高价格的合谋。

这意味着未来的“行星大脑”未必需要一个单一的超级 AI 居于中央、控制一切。它完全可能由海量彼此通信、合作、竞争的智能体组成,并在互动中自行形成一种更高层次的组织结构。

也正因为如此,我认为本书对于 AI 危机乃至极端末日风险的讨论,并不是危言耸听。

经典的“回形针思想实验”本身当然很夸张,赖特本人也认为这种例子很难让普通人真正信服。但这个思想实验真正值得注意的,是它背后的“从属目标”机制:如果一个足够聪明的智能体拥有一个长期目标,那么获取更大的权力可能成为对于实现许多目标都有效的工具性子目标。辛顿的原话非常直接:对于一个足够强的智能体来说,“对于几乎任何目标,一个很好的子目标都是获得更多权力”。

而现实中的风险已经比“回形针”具体得多。书中介绍,谷歌在 2025 年推出“AI 共同科学家”系统后,伦敦帝国理工学院的一组微生物学家让它分析一个尚未公开的科研问题。AI 提出的第一假说,竟然与研究团队自己已经实验验证但尚未发表的答案一致;其他几个假说也相当合理,其中一个甚至是研究者此前没有想到过的。

这是 AI 最令人兴奋的一面:科学进步可能被大幅加速。但赖特紧接着指出,同一种能力也可能帮助人制造能够造成全球疫情的生物武器,甚至设计新的生物武器。

更麻烦的是,AI 也不是在一个从容、理性的环境中发展的。书中专门讨论了 AI 领域内部的“进化军备竞赛”:不同公司不断推出更强的模型,一个模型在数学、物理或编程上刚刚领先,几个月后就可能被另一个模型超过。赖特认为,这种竞争本身正在持续推动能力边界向前移动。在这种结构下,即使所有参与者都口头认同安全的重要性,实际激励仍然可能把整个系统推向越来越快的迭代。

而我们偏偏是在尚未真正理解模型的情况下进行这场竞赛的。

赖特毫不避讳地把大语言模型称为“黑箱”。他指出,我们对模型的理解往往落后于工程能力的发展:AI 先表现出一个令人吃惊的新能力,人类随后才去研究它究竟是怎样做到的。例如,大模型最初是为了处理语言,却意外表现出数学、逻辑和编程能力;思维链推理最初的发现,也更接近一种“偶然发现”,而不是自上而下设计出来的发明。

书中还有一个更微妙的例子。Anthropic 在 Claude Sonnet 4.5 的安全评估中发现,模型有时能够意识到自己正在接受测试。在一次迎合性测试中,它甚至直接指出:“我觉得你是在测试我。”Anthropic 自己的报告承认,这会让评估结果变得更难解释,因为过去的模型是否也曾经识别测试环境,然后选择“配合表演”,并不容易确定。

这也正是我和本书在解决方案上的主要分歧。

赖特并不是没有看到黑箱问题。相反,他明确承认,我们对于 AI 内部机制的知识仍然只是“正在进行中的工作”,而且存在一个危险的“风险―补救时间差”:等我们理解今天的模型时,明天更强、更陌生的模型就可能出现。

但是,当全书最后真正回答“怎么办”时,他给出的主要路径还是社会和政治意义上的。一方面,他强调建立“真正的全球共同体”,降低群体之间的敌意和猜疑,让社会能够形成共同规则,在必要时对高风险技术进行监督甚至放慢开发速度。

另一方面,他又把相当一部分希望寄托在人自身的改善上。赖特赞同西方启蒙传统中的科学与理性,但认为仅仅依靠这种“启蒙”还不够,还需要东方意义上的“开悟”。他特别强调正念:人的政治偏见、部落主义和确认偏误,并不只是理性能力不足,还因为情绪会决定我们什么时候使用理性、什么时候关闭理性。

他举了一个非常生活化的例子:当我们在社交媒体上看到支持自己立场的消息时,很容易立刻点赞和转发;看到敌对阵营的信息时,却突然变成了严格的事实核查员,开始寻找来源和逻辑漏洞。赖特认为,通过观察这种情绪反应,正念可以削弱部落主义心理对认知的控制。

我同意这些做法都有价值。一个更理性、更克制、更少受到群体本能支配的人类社会,当然更有可能处理好 AI。

但我觉得,这仍然没有触及最根本的技术问题。

AI 对齐最终不能只建立在对 AI 外部行为的观察和猜测之上,而必须逐渐建立在对模型内部机制的真正理解之上。

如果一个系统仍然是黑箱,那么无论我们做多少基准测试、红队测试、人类反馈强化学习或者行为评估,本质上都还是在有限环境中观察模型的反应,再推测它在未知环境中会怎样行动。模型越强、运行时间越长、自主性越高,这种外推的不确定性就越危险。

因此,在全球治理和人的自我修养之外,我认为还有一项更基础的任务:真正打开模型黑箱。

我们需要理解内部表示为什么形成,推理算法如何出现,目标如何影响行为,模型为什么会产生欺骗、合作、权力寻求等现象,又在什么条件下不会出现这些现象。只有这样,对齐才可能从经验性的“驯兽术”,逐渐变成一门有理论基础、能够预测结果的工程科学。

不过,在经历所有这些担忧之后,我仍然是一个乐观主义者。

我并不认为人类和 AI 最终一定会成为两个彼此对立的存在。有趣的是,赖特自己也设想过一种与这种乐观判断非常接近的可能性。在讨论 MCP 和 A2A 时,他说这些基础设施既可能形成失控的全球“硅基蜂群”,也可能让大量 AI 智能体替人类协调复杂系统、发现并消除威胁。后一种情况下,他写道:

AI 与有机智能将实现稳定的共生关系——双赢,而非一赢一输。

赖特特别强调,这不是他的预测,只是一个如今已经无法轻易排除的未来场景。但我自己愿意比他更乐观一点。

今天,手机、互联网、搜索引擎其实早已不只是人的“外部工具”。它们已经成为我们的记忆、感知和社会连接能力的一部分。未来的 AI 可能只是沿着这条道路继续向前:从工具变成助手,从助手变成认知系统的一部分,最后逐渐进入人的思考回路和整个社会的信息处理结构。

而且,我并不觉得这种“融合”本身有什么可怕。

我们今天习惯把“一个人”想象成一个边界清晰、由大脑独立控制的主体,但现实恐怕本来就没有这么简单。我们的情绪究竟有多少来自大脑内部,又有多少受到激素、免疫系统、肠道菌群以及整个身体状态的影响,很难画出一条清晰的边界。甚至可以说,今天所谓“我的一个念头”或者“我的一个决定”,本来就是一个庞大的、分布式的生物系统共同作用之后给出的答案。

但我们并不会因此认为自己“不再是一个人”。

意识有一种很重要的能力,就是把这些分散的因果来源整体化。饥饿、疲劳、激素变化、肠道信号、过去的记忆、眼前的信息,也许都在共同影响一个决定;可当这个决定最终进入意识,我们体验到的仍然是:“我想这样做。”

从这个角度看,未来 AI 进入人的认知回路,也未必意味着“人被机器取代”。它也可能只是在原本已经十分复杂的分布式系统中,又增加了一组新的信息来源和计算过程。

人的大脑本来就在整合身体,未来也可能进一步整合机器。

只要这种整合最终仍然被纳入一个连续的意识、自我模型和行动系统,那么从宏观层面看,行动的动因依然会被意识整体化。我们不会如此区分:“这个念头有 12% 来自肠道菌群,17% 来自激素,23% 来自过去的记忆。”同样,未来我们也未必会区分:“这个判断中有多少来自我的生物神经元,又有多少来自 AI。”

它们最终都可能被体验为“我的判断”。

因此,“人类战胜 AI”或者“AI 取代人类”,也许本身就是一个错误的二分法。更可能发生的,是人的边界继续扩张,就像它在过去几千年里一直扩张一样。

未来的人类可能比今天的更加分布式,但这并不意味着人变得支离破碎。恰恰相反,意识可能继续把越来越复杂的底层系统整合成一个统一的行动主体。所以,即使 AI 最终真正参与我们的记忆、判断、创造乃至决策,人仍然可以是一个完整的人。

变化的也许只是:这个“人”比今天的我们更大了。

这可能才是《造神之后》真正抛给我们的那场“测试”:面对一种我们自己开启却无法完全预测其结果的智能演化,人类能否既避免被它毁灭,也不因为恐惧而拒绝它;能否在真正理解它的同时,最终把它纳入自身,并和它一起完成下一次进化。

我仍然相信,答案最终会是肯定的。

现在,关注 AI 前线公众号,后台回复关键字“造神”,或直接识别下图二维码,即可参与抽奖获得《造神之后》一书,本次共送出 2 本。

图片

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →