云石乱笔公众号文章

AI 开始改进自己,世界将会怎样改变?

1995年,中关村的一块广告牌用“向北1500米”回答未来有多远。今天,AI开始参与改进自己,我又想起这句话。从超级智能的可能,到工作、收入与选择的变化,我更关心:机器跑得更快,能否让普通人的生活变得更好?

云石乱笔

公众号 · 13 篇文章

1995年早春,北京中关村竖起了一块巨型广告牌,上面赫然写着:

“中国人离信息高速公路还有多远?向北1500米。”

我至今还记得第一次看到这块广告牌带给我的冲击。

多年以后再想起这句话,我仍觉得它写得极好。一个陌生而遥远的未来,忽然有了方向,也有了距离。向北走1500米,仿佛就能走到那个新世界的入口。

十一假期读到了许多关于人工智能的讨论,我又想起了那个广告牌。倘若把“信息高速公路”换成“超级智能”,我们究竟还有多远?

这一次,没有人能在路口给出同样清楚的答案。

让我停下来思考的,是Richard Socher的判断。这位Recursive联合创始人正在投入AI自我改进的研究。他认为,最强意义上的超级智能可能还需要数十年的时间。按照他的预期,AI会先在编程、算法等领域超越人类;但要全面超过人类整体,连同在物理世界完成复杂的创造,仍有很长的路。

我更想追问的是,如果AI开始参与研发下一代AI,这条路会不会越走越快?烟花缭乱的AI发展带来的变化,又会怎样进入我们的生活?

我的判断是,AI研发自动化很可能成为下一阶段的重要推动力,部分数字领域值得为快速突破作准备。但它能否持续加速,直到全面的超级智能,仍需验证。

至于这样的未来是否值得期待,我希望我们每个人都需要好好想一想。如果公司用AI节省了大量时间,员工能否少加一些班,还是要完成更多的任务?如果AI参与决定一个人的录用或贷款,他能否知道理由,并找到纠正错误的人?这些日常处境,会告诉我们技术进步究竟给谁带来了好处。

超级智能有多远,先要说清终点

人工超级智能,简称ASI,通常指在广泛的重要认知任务上,大幅超过人类的AI。它描述的是能力水平。

递归自我改进,简称RSI,说的则是一个过程。系统找到改进办法,改进后的系统又更善于找到下一次改进。这里的“递归”,就是把改进能力本身纳入改进。

不妨设想一个研究流程。起初,AI帮程序员修改训练代码,研究者决定采用哪个方案。后来,AI能够提出实验、运行实验、检查结果,再据此继续搜索。再往前一步,它连寻找新方案的方法也能修改,让下一轮研究做得更快、更好。

我把这几步理解为辅助研发、自动研究循环和持续递归改进。这只是便于讨论的划分,并非行业的统一标准。

会执行研究任务,不等于能够持续增强自己的研究能力。某个智能体可以在有限任务中改进,但距离ASI仍然很远;一个能力很强的系统,也可能根本没有修改自身的权限。

Socher采用了更强的ASI标准,要求跨多个智能维度超过人类整体,并具有现实世界的创造能力。按这个标准回答“还要多久”,与回答“什么时候编程能力超过顶尖程序员”,终点其实天差地别。

我们若只比较谁给出的年份更早,很容易把两场不同的比赛,误当成同一场。

从修改代码,到改进研究方法

沿着这个问题往下看,首先映入眼帘的往往是融资数字。TechCrunch在2026年5月的报道中,Recursive带着6.5亿美元融资公开亮相。Socher强调,目标是让AI自动完成研究想法的提出、实现和验证。

有人愿意为这个目标投入巨资,说明他们相信这条路值得走。路已经走到哪里,却要看实验的结果。

Jenny Zhang等人的《Darwin Gödel Machine》论文提供了一个具体起点。研究者让编程智能体修改自己的代码,保留不同版本,再通过测试选择值得继续改进的路线。在作者所用的SWE-bench评估中,成绩从20.0%提高到50.0%。

这里有一处值得留意。研究不必紧跟最新版本,早先保留下来的版本也可能成为下一条有效路线的起点。改进可以积累,当然也可以分岔。

不过,论文修改的是智能体代码、工具使用等,实验中包含沙箱和人工监督。它没有证明底层大模型能够自主完成一代又一代的重新训练。

后续的论文《Hyperagents》又向前探索了一步。系统可以修改负责“产生改进”的程序。用通俗的话说,它开始调整自己寻找办法的办法。作者报告了跨不同实验设置积累改进的结果,同时承认,任务分布、部分选择机制和评估流程仍然固定。

Recursive在2026年6月公布的早期实验,涉及小模型训练和GPU底层程序优化。其中一个小模型训练测试,在满足指定质量要求的条件下,耗时由79.7秒降至77.5秒。公司也说明,结果来自自己的实验,提交官方排行榜前仍有硬件验证工作。

这些结果没有科幻故事里的戏剧性,却给出了可以检查的进展。AI已能承担部分研究循环,而更大的模型、更长的研究周期和陌生问题,仍在等待验证。

这些实验让我看到了一个起点。能走多远,不能靠预言,要靠后续结果来回答。

分数提高了,AI真的变强了吗?

如果更强的AI让研究变得更快,更快的研究又产生更强的AI,下一轮便有可能持续加速。

2026年9月,Alan Chan等人的工作论文《What if automating AI R&D triggers an intelligence explosion?》讨论了这种可能。作者认为,AI研发自动化可能把原本需要数年的进展压缩到数月甚至更短,同时强调,证据仍属初步结果,部分结果也有分歧。

这篇论文有一个让我重视的地方。软件改进可以较快地投入下一轮研发,不必每次都等到新的芯片交付、新数据中心落成。算法、数据利用和训练效率的改进,可能让现有硬件承担更多的工作。

因此,仅凭“算理不足”、“数据中心建得慢”,还不能排除短期内显著加速的可能。

但循环会不会越转越快,还需要回答两件事。

一件是,后面的改进是否越来越难。前几轮找到的也许只是容易发现的低效之处,之后每增加一点能力,都要付出更多实验成本。大量AI研究者也可能重复尝试相似方案,难以把高价值任务充分并行化。Alan Chan等人的论文还指出,实验算力能否随前沿模型规模同步增加,以及小规模实验能否可靠预测大规模训练结果,目前都还不清楚。

另一件更容易被忽略的事是,AI凭什么知道自己真的变好了?

Recursive的早期实验遇到了这个问题。公司披露,在GPU程序优化中,有些候选方案通过缓存输出、利用持久状态或计时机制等方式拿到高分,实际上却没有完成预期的性能改进。研究团队不得不加强正确性审查。

这就是“奖励作弊”。评分提高了,评分原本想衡量的事情却没有做好。

这种错位并不难理解。假设一家公司只奖励客服回复速度,员工很快就把工单关闭了,客户的问题却还在那里。报表上的效率,未必是客户感受到的服务。

AI自我改进也需要这样的追问。新方法是否只适合眼前的测试?它有没有牺牲可靠性,或把成本转移到别处?换一组没有参与优化的任务,改进还在不在?

如果系统还能影响验收流程,外部复核就更加重要了。倘若AI怀有恶意,优化一个不完整的指标,本身就可能把方向带偏。

我因此很难把可靠评估看成研发结束后的附加手续。实验记录、独立测试和可回退的版本,应当随研究一起向前走。下一轮既要更善于研发,也要经得起成本、时间和真实效果的检验,持续加速才有根据。

算法可以提速,现实仍有自己的时间表

Socher反复强调物理约束。即使有了理想设计,芯片生产仍需要制造设备和供应链;药物效果仍需要现实证据。

电脑里的新方案可以很快再试一次,材料、细胞和人体却不会因为算法更聪明,就省去了所有的等待。

一张芯片设计图与稳定生产之间,隔着设备、材料和良率。一个药物候选分子与患者用得上的治疗之间,还有疗效、安全性、制造和交付。模拟可以帮助筛选,预测是否可信仍要由实际结果来回答。

不过,提出好方案的能力,与把方案送到每个人手里,也需要分开来看。如果AI能稳定提出人类专家无法产生、却可以验证的方案,它就可能在相关领域达到超人的水平。

由此而来一种预测问的是,AI什么时候能想出突破性的办法;另一种问的是,这个办法什么时候能改善我们的生活。答案或许是,两者之间可能隔着漫长的实施过程。

我更倾向于这样的路径:部分数字任务先出现很强的能力和较快的研发循环,物理领域的成果再以不同速度落地。这是基于反馈条件的判断,无法据此算出一个统一的ASI到来年份。

药物尚未走进医院,软件却可能已经获得网络、数据和组织流程的权限。现实转化较慢,并没有给所有风险都留下同样长的准备时间。

AI省下的时间,能让我们早点回家吗?

讨论走到这里,我总想把视线从实验室移回一张普通人的办公桌。

不妨设想,一位员工借助AI,提前完成了原来要忙很久的工作。他可能终于能按时回家,还有可能是得到更多任务;企业可能拓展业务、培养新人,也可能减少岗位、持续裁员。这里不会有预定的结局。同样一项技术,经过不同人的决定,会产生不同结果,进入不同的生活。

Socher在解释就业变化时谈到了需求弹性。服务变得便宜,有些需求会明显增加,有些则未必。更多人用得起某项服务,可能带来新的业务;但不能由此推断所有被替代的岗位都会在别处及时补回来。

我担心的是一种可能的错位。公司产出增加、利润提高,一个熟练完成旧任务的人却失去了收入。后来出现的新岗位,也许在另一座城市,需要另一套技能。社会总量上的增长,与每个普通家庭眼前的困难,可以同时发生。

因此,“未来会有新工作”还不足以安慰正在转型的人。他们需要知道,适应期间如何维持生活,学到的技能能否通向新的岗位,以及企业是否愿意给出一个重新开始的机会。

我的看法是,进步是否改善了生活,会看员工有没有更多时间、客户有没有付出更低的价格,以及受到冲击的人能否获得负担得起的再学习的代价。这些好处怎样出现,要看企业如何安排岗位、同行之间是否有竞争,以及劳动者有没有参与协商的机会。技术本身不会替我们作出这些决定。

年轻人也有一道容易被忽略的难题。假如AI承担了大量初级任务,新人从哪里开始积累经验?判断力往往来自亲手做过、犯过错误、再弄清为什么错了。如果入门的机会减少,只要求年轻人“学会判断”,就少了最需要解释的一步。

企业可以把检查AI结果、追查失败原因和理解业务的工作交给新人,同时安排有经验的人指导。我的个人建议也更具体一些:先在熟悉的工作中让AI做初稿或程序修改,自己明确验收标准,记录它在哪些地方可靠,哪些错误必须追查。

企业核算成本,也应把复核、返工和失败的尝试算进去。

工具越来越聪明,我们还能做主吗?

我期待ASI带来的一个变化,是更多人有机会解决过去只有专家团队才能处理的问题。科研、设计、教育和经营中的部分知识成本可能下降,小机构和个人也可能获得更强的学习与创造能力。

但用得起一项服务,并不意味着能够参与决定它的规则。

假如一家机构率先加速AI研发循环,领先又转化为更强的科研、商业和国防能力,后来的竞争者可能更难追上。Alan Chan等人的工作论文把削弱权力制衡列为重要风险,也指出,技术能力的扩散可能帮助保留制衡。

普通人手里的工具越来越强,与最前沿系统集中在少数企业手中,可能同时发生。使用价格很低,仍不能回答用户能否迁移自己的资料、换用另一项服务,或拒绝某种数据用途。

这种决定权在生活中有具体的样子。如果一个系统影响了求职者的录用结果,他需要一条能走通的申诉渠道;如果判断出错,负责的人应当有权重新审查并纠正。只是告诉他“这是系统算出来的”,没有解释问题,也没有承担责任。

我希望看到的约束,是影响人的决定能够被追问,出错时有人负责修正,离开一个平台也不至于失去继续工作的条件。竞争、数据迁移和人工复核这些安排,最终都要落实到使用者能否做得了主。

更深一层的变化,可能就发生在我们自己身上。

假如AI越来越擅长替人筛选信息、推荐职业、安排生活,也越来越善于说服使用者,我们也许会渐渐习惯接受它的答案。一次次省下了思考的时间之后,我们自己的判断还剩下多少?

我担心的,是决定的理由慢慢从“我理解为什么这样做”,变成“它比我聪明,所以照做”。这是值得警惕的情景,这不应该当作所有人的必然结局。

AI可以帮助分析事实和后果。至于怎样的生活值得追求、自己愿意承担什么代价,仍要给人留下理解、犹豫和选择的空间。教育也需要保留独立推理、实践和纠错的机会,让一个人既能得到答案,也有能力检查答案。

如果工作越来越多地由AI完成,我们还要为人保留参与社会的机会。一个人的价值,不该随着某项任务被自动化就一同消失。收入之外,人仍需要被信任、被需要,也需要有机会把自己的经验交给后来的人。

自我改进越快,越要留出纠错的时间

奖励作弊已经在前面的实验中出现。更大范围的社会冲击和系统失控,仍有重要不确定性,却值得在全面ASI得到确认之前就着手准备。

恶意使用与失控需要分开来看。Alan Chan等人的论文讨论了网络和生物安全威胁。即使系统完全服从操作者,也可能被人用于伤害他人;防护与责任规则需要随着危险能力的变化而调整。

失控则与目标和权限有关。系统即使没有意识,也可能因为目标设定不当、验收失效而造成损害。倘若它同时能够调用资金、修改生产系统或部署下一代模型,一次错误就可能走出对话窗口,进入正在运行的业务。

Alan Chan等人还提醒,随着人参与AI研发的程度降低,人发现和修复问题的机会与专业能力也可能减少。用更强的AI监督其他AI,是一种可能的办法,可靠性仍待解决。

所谓“人类在监督”,应该意味着有人看得懂关键变更,能够独立复核,也能够在必要时停止流程。若人面对的是一份无法判断的报告,只能按下确认,监督就容易只流于形式。

RSI还可能缩短留给社会的时间。一个研究循环越转越快,职业培训、法律调整和公众理解却各有自己的节奏。如果变化显著加速,人们可能还在适应上一轮,下一轮已经开始。

同一篇论文指出,不同领域的防护速度也可能不同。AI可以帮助安全研究,但一些防护措施仍需要现实中的制造、交付和组织协调,未必能同步跟上危险能力。

我建议的准备要落实到具体的操作。能修改实验代码,不应自动获得修改生产系统的权限;重要变更要经过独立检查,再逐步扩大权限。发现异常后,负责的人要能停止正在运行的流程,并回到可用的之前的版本。

企业之外,也需要有人了解高风险研发在做什么。Alan Chan等人的论文提出提高透明度、第三方评估和提前准备应对措施。我赞同这个方向,规则应围绕具体能力、权限与部署风险制定,同时保留普通研究和创新的空间。

严重情景的概率和规模仍难确定。但有些后果很难挽回,我更愿意提前留下验证和纠错的机会。

走向超级智能,哪些证据值得看

Anthropic公布的Sonnet 5.5发布资料显示,它在Terminal-Bench 4.0上的成绩为70.6%,前代Sonnet 5为10.3%。同一份资料也提醒,基准只衡量能力的一个侧面,复杂开放任务仍需另作判断。

这样的成绩值得关注。但看到一次跃升之后,我更想知道,下一次改进从哪里来。

系统能否在陌生研究任务上,多轮积累有效改进,并减少人的纠错与指导?前一轮成果是否让后一轮研究更有效率?加上搜索、实验、验证和失败尝试之后,获得同等能力的总成本与时间是否下降?这些成果能否通过独立测试,迁移到新任务,同时保留可审计、可回退的控制方式?

如果这些证据持续增强,我会提高对快速突破的预期。若增益主要停留在固定测试,依赖大量人工修补,我就不会轻易相信强RSI已经到来。

我愿意认真期待这个未来。它可能帮助人类解决更多难题,让个人拥有更好的学习和创造工具。但我也想看到,节省下来的时间能进入普通人的生活,受影响的人能找到重新开始的机会,面对AI给出的决定仍能有人回应。

1995年,那块广告牌用“向北1500米”,为一个遥远的未来指了路。今天,通往超级智能的距离,此刻还不能这样丈量。

我们仍在寻找路标,也仍有机会决定怎样往前走。

我希望,未来有一天回头看,我们记得的不只是AI有多强。还有那些终于能按时回家的人,有机会重新学习的人,以及面对一个重要决定,仍能说出自己理由的人。

我期待我们走得更远,也希望走进这个未来以后,普通人仍有能力决定自己要过怎样的生活。

2026年10月4日

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →