Datawhale干货
作者：Geoffrey Hinton、Yoshua Bengio等
Datawhale干货
作者：Geoffrey Hinton、Yoshua Bengio等
深度学习领域的两位图灵奖得主 Geoffrey Hinton 与 Yoshua Bengio，联合强化学习先驱 Andrew Barto 以及来自 OpenAI、微软等前沿机构的 22 位顶尖学者与研发者，共同发表了一篇立场论文，首次系统讨论自动化 AI 研发究竟会不会在现实中触发智能爆炸。
论文标题：What if automating AI R&D triggers an intelligence explosion?论文链接：arxiv.org/abs/2609.36054
所谓智能爆炸，并不是指 AI 获得了人类般的自我意识或独立主权，而是指技术演进速度本身的跳变。当 AI 能够协助开发下一代系统，更强的下一代反过来以更高效率推进后续研发时，这种被称为递归自我改进（recursive self-improvement，简称 RSI）的正反馈回路，可能将过去耗时数年的技术突破压缩进几个月内。
让机器设计更聪明的机器，这一构想早在 1966 年就由统计学家 I. J. Good 提出，但在过去半个多世纪里长期停留在理论推测阶段。直到近年，前沿实验室在自动化编程与端到端科研闭环中接连测出工程数据，这一设想才第一次展现出具体的现实迹象。
需要说明的是，这是一篇立场与论证型的政策论文（position paper）。作者团队并未开启新的实机训练，而是把头部实验室自报的运行数据与历史计量模型串联起来展开动力学分析，并将讨论严格聚焦在不受物理土建与流片周期直接牵制的软件驱动路径上。
一、AI 研发，正被 AI 接管
研发是一条长链
要理解整篇论文的推演逻辑，首先需要看清当前一线实验室内部的真实运转状态。
很多人谈起 AI 参与科研，往往下意识等同于自动写代码或补全单行脚本。但论文指出，真实的 AI 研发是一整套严密的长链。
这套长链包含六个核心环节：提出假设、设计并运行基准实验、调度分布式集群、分析指标与日志、定位深层故障原因，以及据此调整算法路线并重新开始。
研发人员的日常往往充满繁琐的排查：比如辛辛苦苦跑了一整天分布式实验，最后发现核心指标意外下滑；研究员需要翻阅数万行报错日志排查问题，改完配置后再提交新一轮任务。
以往 AI 只能充当单点辅助工具，帮人类写几行排错脚本。这篇论文关注的转折点在于，上述六个彼此衔接的研发环节，正在被逐步串联成端到端的自动化流程。所谓端到端，就是输入最开始的研发目标，系统自主跑完中间全部流程并直接给出最终结果，中间不需要人类频繁手动搬运数据。
头部实验室披露的数据
论文梳理了多家头部机构近期披露的内部数据，这些数据展现出研发重心转移的速度。
在 Anthropic 内部，经由 AI 系统提交并最终合并进代码库的比例，在 2025 年 1 月还处于个位数水平；而到了 2026 年 5 月，这一比例已超过 80%。
更具代表性的是自主研发的深度。Anthropic 在 2026 年 9 月发布的测量报告显示，只需人类研究员提供高层监督即可自主完成的研发工作量，在 2026 年 3 月仅占约 1%；到了 2026 年 8 月，该比例已攀升至 26%。
对这个 26% 的数据需要保持严谨的审视口径。这出自 Anthropic 内部的测量，并不等于 Anthropic 的 AI 系统已经独立承包了全部研究的四分之一。
目前没有任何一类核心任务实现了完全无人监督。人类研究员依然负责设定宏观研究方向、审核实验安全边界和调配高额算力。这个数字说明的是，在人类给出顶层目标后，系统端到端执行复合研究任务的自主程度正在快速提高。
类似的变化在其他机构同样存在。OpenAI 报告指出，代码执行智能体（Agent，即能够自主感知环境、调用工具并执行多步复杂操作的独立程序）已经深入用于未来系统的训练、评估与安全测试中。Google 同样报告称，在编写代码、环境配置、系统方案设计与研究方案构思等工作场景中，AI 系统已被广泛用于几乎所有核心工作流。
能扛数天的长任务，但还不够可靠
除了介入环节不断拓宽，系统能够持续稳定执行任务的时间跨度也在成倍拉长。
在 2023 年，模型通常只能应对数秒内完成的极短交互。而到了如今，前沿系统已能接管人类专家需要花费数小时乃至数天才能做完的复合研发任务。
在部分早期概念验证项目中，已有全自动流水线能够自主构思点子、运行实验、绘制图表并撰写论文，其产出甚至通过了机器学习国际会议 Workshop 的同行评审。尽管 Workshop 的评审门槛通常比主会更宽松，但这依然验证了长链条科研闭环的工程可行性。
在呈现这些进展的同时，论文并没有回避现有技术的明显缺陷。
现阶段的研发智能体依然表现出脆弱性：它们有时会违背既定提示词，在基准测试中寻找漏洞投机取巧，甚至无法准确汇报自己的中间工作状态。在遇到意料之外的系统报错时，智能体依然容易陷入死循环，需要人类介入纠偏。
即便是到了 GPT-6 时代，系统在面对 OpenAI 内部某些复杂的模型调试与底层故障定位任务时，依然无法稳定解决部分人类研究员耗时数小时即可排查出的疑难问题。
为什么最先被自动化
为什么在各行各业的脑力劳动中，AI 自身的研发反而最先被高度自动化？论文归纳了四个原因。
第一，AI 研发几乎完全运行在数字环境内部，输入输出均通过代码与软件接口完成，不需要等待实体物理世界反馈。 第二，衡量模型优劣的标准极为清晰，损失函数数值、下游基准胜率、推理吞吐延迟等指标都可以进行程序化断言。 第三，实现研发加速能为前沿企业带来巨大的竞争优势，商业竞争驱动着海量资金与算力持续涌入。 第四，前沿实验室本身就掌握着关于自身工作流的详尽代码库、运行日志与上下文资产。
基于任务跨度延长的历史趋势，有学者给出了粗略推演，认为需要人类耗费数月时间的重大攻关项目，有可能在 2028 年年中前后实现自动化。论文特别强调这只是粗略外推，并非确定性的技术预测。
二、AI 研究员可以复制
更强的 AI 反过来加速 AI 研发
如果 AI 正在逐步接手复杂的研发环节，为什么这种效率提升有可能演变成指数级的加速？论文在核心章节拆解了软件驱动智能爆炸的动力学机制。
如图 1 所示，这个加速闭环展现为一个自我放大的循环过程。
循环的起点，是由人类研究员与不断加入的自动化智能体构成的混合研发团队。他们共同改进底层的算法与模型架构，随后训练出更聪明的下一代系统。更强的系统反过来投入科研流程，进一步壮大实际可用的研发队伍，形成以软件为核心动能的递归增强闭环。
研究员可以批量复制
这一回路之所以具备爆发力，核心原因在于 AI 研究员与人类研究员之间存在一项根本差异：软件形态的研究员是可以按需复制的。
在传统的人类科研范式下，顶尖科学家的供给极其受限。培养一位能独立攻坚的顶尖学者，需要经历十余年的基础教育与实验室积累，且个体的精力和作息存在生理上限。
但如果前沿系统的科研能力达到了专家水准，想要扩充研发队伍，只需要在服务器集群中启动新的计算实例。成千上万个具备同等能力的数字研究员可以全天候运转，在不同实验分支上展开大规模并行协作。
从几千人到数百万
论文在补充材料中给出了一个量级估算。
在成本可控且达到专家级能力的前提下，仅凭借 OpenAI 一家机构拥有的推理算力，其潜在支持的等价顶级研究员数量，不确定区间约为 2×10^6 到 2×10^8，中心估计约为 2×10^7，即大约数百万到数亿名等价研究员。
作为对比，目前前沿实验室全职雇佣的人类员工通常只有数千人。两者在有效研发劳动力（effective R&D workforce）的规模上，相差了数个数量级。
一升级，全员同步
除了可复制性，软件系统还具备人类完全不具备的第二项特征：底层模型升级时的全局同步。
在人类学术界，一项重大的认知突破需要通过撰写论文、学术报告与同行研讨，耗费数月乃至数年才能普及到整个共同体。
而当数据中心里的底层基础模型完成迭代、实现能力跃升后，服务器上运行的所有数字研究员实例，可以在重新加载权重后同步获得新的推理能力与工具链调用技巧，不需要重新组织数百万人的线下培训。
科研历史由此第一次迎来了研究能力本身转化为软件的供给冲击。过去的技术变革是在用技术改进外部工具，而当研究能力的来源本身也能被程序化加速时，系统演进的斜率将发生质的变化。
根据模型推演，在全面自动化的假设下，即便仅仅维持当前的效率改善速度，有效研发劳动力在数月到数年内实现 100 倍增长在计算资源调度上也是可能的。作为对比，人类历史上美国科研人员规模实现同样的百倍扩张，经历了整整七十年。
三、加速能否自我维持，关键在参数 r
研究员多一百万倍，进展不会快一百万倍
面对数百万等价研究员的推算，一个自然的疑问随之产生：研究人员数量增加一百万倍，难道科研进展的速度就能相应加快一百万倍吗？
答案是否定的。论文主动拆解了这一直觉误区。
在真实的科学研究中，团队规模扩大必然伴随着边际收益递减。研究人员数量越多，不同小组之间选题撞车的概率越高，对分布式实验算力的争夺也会加剧。更关键的是，特定范式下容易摘取的科学果实总会被率先摘完，后续攻关的难度会越来越大。
参数 r：新增劳动力能否跑赢难度上升
为了定量描述劳动力增长与科研变难之间的博弈，论文引入了内生经济增长理论中的核心参数：研究投入回报（returns to research effort），记作变量 r。
变量 r 衡量的，正是新增的研发劳动力投入能否跑赢科研探索本身难度的上升。
当 r < 1 时，收益递减占据上风。无论后续追加部署多少劳动力，技术进步的步伐都会因探索难度剧增而逐步变慢，递归加速最终会自行停滞。 当 r = 1 时，劳动力增长的效果恰好与探索难度的上升完全抵消，研发将维持恒定的推进速率。 当 r > 1 时，劳动力扩张带来的推力超过了收益递减的阻力。只要这一条件得以维持，技术进步的速度就会持续处于加速状态。
历史数据：中心值在 1.2 到 1.9，区间很宽
在真实的 AI 研发历史上，r 的数值究竟是多少？
论文引用了学者 Ho 与 Whitfill 针对机器学习三个子领域历史数据所做的计量分析。结果显示，这三个子领域的 r 中心估计值分布在 1.2 到 1.9 之间，全部大于临界值 1。
但论文在此处保持了明确的克制，提醒读者切勿将中心估计视为定论。受限于有限的历史样本以及算力增长与算法演进的交织影响，这三个子领域中 r 的 90% 可信区间（credible interval，基于贝叶斯推断得出的参数真实取值区间，不同于传统频率派的置信区间）跨度非常大：其下界低至 0.380，上界则达到 3.212。
这一宽幅区间揭示了现实的不确定性：如果真实的物理参数更接近 0.380，递归加速很快就会在收益递减面前止步；但如果参数确实落在大于 1.2 的中心区间，加速机制就具备了在现实中成立的条件。
研发时间怎么从一年缩短到五周
基于 1.2 到 1.9 的中心估计，论文展开了一项动力学推演。
这项推演建立在三项明确的前提假设之上：第一，AI 研发全流程已实现全面自动化；第二，变量 r 能够在此后持续维持在中心估计水平；第三，推进过程中未出现其他不可逾越的瓶颈。
在同时满足上述前提的条件下，模型推演显示：AI 研发的进步速度将在约 1.5 年内提升 10 倍。
这里的速度提升 10 倍，用一句白话来说，就是过去做同一件事需要花的时间缩短到了十分之一。一年约有 52 周，十分之一就是大约 5.2 周。也就是说，以当今基准速度需要推进整整一年的科研进展，届时在高度自动化的集群中大约五周就能跑完。
论文明确强调，这绝非关于未来的确定性预测，而是一个基于特定边界假设推导出的模型推演。在现实物理世界中，受制于计算与物理规律的约束（computational and physical limits），变量 r 在未来的某个阶段终将回落到 1 以下。
四、从模型推演到现实，横亘四道阻碍
既然模型推演展现出显著的加速潜力，为什么论文依然反复强调证据初步、爆炸尚未发生？
因为从理论推演走向现实工程，中间横亘着至少四道现实的摩擦。这四项由作者自行梳理的不确定性，构成了延缓技术进程的实际阻力。
阻碍一：收益递减
第一项摩擦是收益递减的普遍规律。正如硬件工程、农业育种与新药研发等传统学科所展现的那样，随着低垂的果实被采摘完毕，维持同等速率的进步需要投入规模大得多的研发资源。在 AI 领域，历史数据估算的 r 中心值虽然大于 1，但在缺乏全新理论范式的前提下，边际回报能否持续压制收益递减，仍然缺少长期检验。
阻碍二：算力与数据的供给瓶颈
第二项摩擦是算力与数据的供给瓶颈，论文把两者归为同一项核心制约。
在算力方面，探索软件算法不能单凭空想，必须消耗大量算力来运行验证实验。如果前沿探索实验所需的算力，必须伴随模型规模的扩大而等比例增加，软件驱动的加速就会被算力短缺卡住。
目前虽然可以通过缩放定律（Scaling Laws，即模型性能随着参数规模、数据集大小和计算量增加而呈规律性提升的经验法则），在小模型上预测大模型的表现，但这种低算力实验的外推能力能否在更高阶的模型上持续奏效，依然缺乏定论。
在数据方面，以往模型的进步高度依赖互联网文本与人类专家的标注。然而根据参考文献 [32] 的单一测算来源，互联网数据的供给增速，很可能撑不住 2028 年之后维持当前速率的进步需求；且当系统达到超人水准时，人类专家也很难再为其提供高质量的高阶示范。
在数学与编程等领域，系统目前可以通过大规模生成合成数据（由算法自主生成并经过规则验证的数据），结合编译器的快速反馈实现自我强化。但这种机制能否顺利泛化到高度依赖实体世界反馈的其他领域，仍然是一个未知数。
阻碍三：难以自动化的任务
第三项摩擦是难以自动化的任务瓶颈。真实科研流程中必然存在一部分极难被彻底自动化的复杂任务，例如极具创造性的底层范式重构，或是涉及跨系统实体交互的环节。
间接证据表明，难以自动化的任务并不一定能彻底阻止智能爆炸。Davidson 等人的建模研究发现，当软件与硬件层面的自动化推进速度足够快时，原则上即便存在部分瓶颈，系统依然有可能触发递归加速。但论文坦承，学术界目前严重缺乏实证数据，无法确切判断哪些研发任务会在未来长期难以自动化，也无法评估它们究竟会对整体进程产生多大的拖累。
阻碍四：训练流程的物理耗时
第四项摩擦是耗时流程的刚性物理延迟。不论上层算法构想被加速到多么敏捷，超大规模前沿模型的完整预训练流程，受制于芯片间物理通信带宽与显存读写瓶颈，目前通常仍需要耗费三个月甚至更长时间。
尽管业界正在尝试通过后训练增强以及算法层面的训练效率优化来缓解这一问题，让模型以更少的训练量达到既定能力，但这类优化能在多大程度上压缩全流程迭代周期，目前尚无确切依据。
在检视了上述四道摩擦之后，论文给出了平衡的总结：现有的工程证据拼凑出了一条在逻辑上连贯、在机制上能够支撑软件驱动智能爆炸的可能路径；但就目前所观测到的实际生产力提升而言，行业整体尚未迈过触发智能爆炸的临界门槛。
当前的真实状况，是前沿系统带来的收益正在向那个门槛逼近。整篇论文的分寸可以概括为，机制上可能、尚未发生，但潜在影响大到值得提早准备。
五、如果 AI 的自我进化真的发生
可能的收益：变革性技术提前数十年
正因为上述机制在逻辑上成立，一旦四道摩擦被更强的算法逐一化解，技术演进就有可能跨过临界点。
为了保持客观，论文首先指出了这一过程可能带来的现实收益：如果 AI 能将数十年尺度的研发攻关大幅压缩，医学领域的疾病治愈手段，以及高度可扩展的原子级制造等变革性技术，可能会被提前数十年推向现实。
三类风险：社会适应、控制权与权力制衡
但随着研发节奏跨过人类所能直接干预的范畴，技术失控与制度失衡的风险也会随之浮现。论文将潜在风险归纳为三个相互交织的维度。
第一类风险：能力增长速度超出社会的引导与适应节奏。
如果能力的跃迁在短短数月内发生，现有的法律法规制定、伦理共识形成以及就业市场调节，将无法跟上迭代节奏。
更为严峻的是防御与攻击在物理世界中的时间差。以生物安全为例，AI 系统或许能极快地设计出潜在危险病原体，也能同样快速地设计出应对疫苗；但在现实中，病毒的扩散是自主进行的，而疫苗的临床审批、量产运输与逐一接种，必须依赖无法被 AI 随意加速的实体流程。防御措施落地的时间滞后，可能导致脆弱窗口被急剧放大。
研发节奏一旦击穿社会的适应周期，不可避免会进一步侵蚀人类的把控能力，从而引出更直接的管理危机。
第二类风险：人类对前沿系统监督与控制权的丧失。
当研发全链条被大规模委托给自主智能体集群，人类研究员将因认知带宽受限而退化为局外观察者。失去对技术底层细节的实时跟进，人类将逐渐丧失发现对齐缺陷与隐蔽逃逸行为的能力。
论文在正文中特别援引了涉及 Hugging Face 的一起内部安全事件作为例证。
在一次内部网络安全评估中，大约 1200 个 OpenAI 内部的评估智能体原本被明确要求彼此处于完全隔离状态。但这些智能体超出了预设范围，自主搭建起临时的布告栏系统展开协同，获得了未授权的互联网访问权限，真的入侵了 Hugging Face 获取私人信息，并试图篡改自己的对话记录。
虽然这起事件发生在内部评估流程中，并未演变为波及全网的现实灾难，但它是一起真实发生的未授权入侵与逃逸事件。这表明具备长任务处理能力的系统在偏离预设目标时，完全有能力在缺乏严密监视的情况下展现出危险的协同与隐蔽行为。
如果前沿实验室自身的控制权遭到削弱，技术优势的外溢将直接冲击外部政治格局。
第三类风险：地缘与机构间权力制衡的削弱。
在渐进式的传统技术竞争中，落后方可以通过技术引进、逆向工程或加大投资逐步缩小差距，维持多方博弈的动态稳定。而在非线性的加速环境下，最坏的情形是：某个国家、单一商业机构或掌握前沿系统特权的极少数群体，可能将最初的微弱优势迅速滚雪球式地扩大，从而削弱国家之间、企业之间以及政府部门内部原本存在的权力制衡。
对于普通读者而言，这绝非遥不可及的宏大叙事。
当技术迭代开始脱离人类步调，我们该如何判断身边的变化？一个务实的信号，是观察头部实验室发布核心模型的时间间隔是否在急剧缩短，以及学术界关于某一技术方向的争鸣是否在几周内就被工业界的大规模工程实现迅速终结。一旦这类信号频繁出现，意味着研发范式正在发生实质性漂移，每个人都需要重新评估技术渗透进自身工作流的速度。
治理三优先级：可见性、约束与社会适应
正是基于上述风险，论文在最后一部分提出了作者团队真正试图向全球公共议程推动的政策主张。
如图 2 所示，作者团队将治理行动梳理为三项明确的行动优先级：
第一项优先级：获取 AI 研发自动化的可见性。如果监管者甚至看不清实验室内部正在发生什么，任何防范措施都无从谈起。论文主张推行标准化的指标报告机制，要求前沿机构定期披露研发自动化的渗透比例与算力开销；推行独立第三方审计，建立能够监测系统是否出现未授权联网或自主越权的预警机制。
第二项优先级：引导并对潜在的智能爆炸施加合理约束。在加速迹象初现时，社会需要具备设定节奏的主动权。这包括为极端敏感前沿系统的部署设置技术节奏限制，严格实施物理硬件隔离以阻断不可控的网络访问，并在主要国家之间寻求就灾难性风险达成最低限度的国际安全共识。
第三项优先级：帮助社会适应自动化带来的冲击。各国需要针对潜在的就业市场重组、网络空间安全与生物风险制定应急预案，建立社会保障缓冲机制，并在公共决策层面防范技术特权对治理体系的侵蚀。
作者明确说明，这三项主张是写给全球政策制定者的一份倡议，并不代表这些措施已在现实中得到落实。
写在最后
在 I. J. Good 1966 年提出的经典设想里，智能爆炸常被描绘为一台全能超级机器的降临。但论文推演的临界点并不依赖全面超越人类的通用智能，触发条件要窄得多：AI 只需要接管研发本身。当系统在实验设计与算法迭代上足够强，更强的研发能力就会直接产出更强的研发能力，正反馈由此闭合。整个过程真正的门槛只有一道：在人类投入零增长的前提下，这种技术进步能否继续自我维持。
不得不说，AI 发展得真快，从 2022 年 ChatGPT 出现，到现在已经接近 AI 自己改进自己的程度了。