新智元公众号文章

自进化AI「杀」进物理世界！王者峡谷屠神，从0打到全胜

科技与互联网
新智元

公众号 · 339 篇文章

查看主页 →

图片

  新智元报道  

图片


一支王者荣耀AI战队，开局被游戏内置人机按在地上摩擦，一局都没赢过。

谁也没想到，AI教练只带它复盘了五轮，胜率竟从0%直接打到了100%！

全程没有训练任何一个模型，每一版新战术本，都是AI教练自己改出来的。

这场5v5，正在南京2026物理AI与世界模型大会上直播，大屏就挂在爱思科技（Agnes AI）的展台上。

图片
右边记着这支战队每一版的评分和胜率

而在隔壁屏幕上，一条仿真机械臂正一边干活，一边改自己模型的参数，最快30分钟就迭代一轮。

王者战队变强，靠的是AI教练一遍遍改写战术；机械臂越抓越准，靠的是模型边干活边学。这正是AI自我进化的两条路，这一次，爱思同时跑通了。

这套思路有个名字，叫「万物共脑」——让智能从数字世界，走进物理世界！

图片


图片
一个「脑子」根本不够用
为AI装上大脑、小脑与肉身

想想开车：判断「前方拥堵，绕道走」，靠的是大脑；踩刹车、打方向几乎不过脑子，靠的是小脑。要是每踩一次刹车都得先想上两秒，车早就撞了。

今天的大模型，就像一个只会动脑的司机，聪明，但反应慢。可物理世界没有「撤回键」，所以慢一拍，就可能出事。

因此，爱思没有去堆一个更大的模型，而是照着人体的分工，给AI搭了一整套系统。这套系统叫Agnes Harness，是开源的Agent基础设施，一共分成六块：

  • 大脑｜LLM（Agnes 3.0 Flash等）：理解问题、长远推理，想一次要1.7秒。
  • 小脑｜决策模型Jev：在有限的选项里快速拍板，0.23秒给出答案，比大模型快7倍左右；拿不准的，再交回大模型。
  • 反射弧｜Workflow（工作流）：固定的标准动作写成既定流程，信号一到立刻触发，不占脑力。
  • 记忆与主动性｜Agent Loop（自主循环）：管住上下文和记忆，自己推着「感知、思考、行动」一轮轮往前走。
  • 学习能力｜RSI/TTT：RSI让系统自己改进做事的方法，TTT让模型边干活边学，越用越强。
  • 身体｜MHS（模型硬件标准）：AI接入物理世界的「USB接口」，机器人、小车、相机都能标准化「接上线」。

开篇那两条进化路线，靠的就是其中的学习能力。

在系统层，Agnes Harness RSI让AI自己改进做事的方法，比如改写战术、提示词和代码，模型本身一点不动；在模型层，Agnes Embed TTT让模型边干活边学，直接更新自己的参数。

把两者合在一起，便是「双进化智能系统」。

图片


图片
系统进化RSI
AI教练复盘五轮，战队从0胜打到全胜

展台上那支王者战队，编制照搬了一支职业电竞战队。场上有指挥（大模型，约每30秒定一次大方向）、选手（Jev，每个英雄配一个，约每2秒做一次决策），还有负责走位、普攻、放技能的「肌肉记忆」（战术本代码，每秒执行5次）。

场下坐着的教练，则是即将上线的Agnes 3.0 Pro。它从不上场，只在每局结束后出手。复盘时，它看的是一份没有战争迷雾的完整录像，场上选手看不到的敌人动向，它都看得一清二楚。

可看得再全，教练能动的也只有一样东西：整支队伍的战术本，包括指挥的提示词、选手能选的动作，以及每个动作背后的代码。至于模型本身，它一个参数都不碰。

图片

复盘、改战术本、通过测试再上场，一轮接一轮循环下去，AI就在系统层面不断改进自己，也就是递归自我改进（RSI）。

一开始，这支队伍一局都没赢过人机。教练改出第一版战术本后，队伍拿下首胜，胜率42%；第二版升到63%，第三版到了90%。到了第四版，教练开始追求赢得更快，一局从约17分钟缩短到约14分钟。

到了第五版，它对人机终于一局不输，胜率打到了100%。

胜率打满了，进化却没有停。此后每个新版本，都得正面打赢上一版才能留下：第5版击败了第4版，第6版又击败了第5版。大屏上的这支队伍，仍在一版一版往上进化。

除了5v5之外，Agnes还在公开的实验报告里，完整记下了1v1和3v3两组实验。

其中，3v3那组用的是一支从零开始的三人队，1v1里学到的东西一点没带。起步阶段，它打了192局，一场没赢。

图片
3v3对局画面，下方是指挥给每个英雄定的计划

于是，AI教练开始翻录像。它写下的批注，像极了一个被气坏的真教练。

第一轮：「79%的存活时间里，英雄血量在九成以上，却待在家里。」

原来，Jev在3.6万次决策里，有2.4万次选了撤退，活脱脱的泉水挂机。教练当即把撤退降成兜底选项，规定英雄一脱离危险就回线。

第二轮：教练发现，指挥一喊撤退，选手有73%的时候都会去选兜底动作。所以它干脆不许指挥再下「回血」这种计划，而是给每个英雄排好一串具体动作。

第三轮：明明局面已经是「敌方3人全死，两座塔都没了，水晶满血」，队伍的计划却还停在「发育」。教练随即补上新规矩：敌人全灭，立刻清兵推塔！

就这样，三轮下来，3v3对内置Bot的胜率从0涨到13%、39%，最后到了60%。

另一组1v1实验里，最开始的战术本只能赢3%。教练一版版改下来，最好的一版胜率到了90%。

图片
图片

当然，教练写的新打法不能直接上场。每一版都要先过研究人员定好的考试，一共五关：代码安全检查、和现役打法对打24局、挑战历代最强的打法、换没见过的英雄再打、对内置Bot打48局。这些局数和门槛，教练一个都改不了。

就算拿一份和现役打法一字不差的复制品去闯关，通过率也只有1.0%。所以1v1的六轮实验里，教练写了111个候选，最后只有4个转正。

从3%的胜率一路打到48局终检95.0分，这几轮1v1实验花掉的指挥和教练调用费，算下来一共才约33美元。


图片
模型进化TTT
机械臂长出「肌肉记忆」，最快30分钟进化一轮

在王者荣耀里，模型的参数一个没动。可到了机械臂这里，要改的就是模型本身了。

图片

这是因为，模型一旦训完、部署出去，参数基本就定死了，干活时碰到的新情况，没法马上变成新本事。

放到机械臂上，问题就很具体：抓不稳，只能先攒一批数据，停下来重新训练，再部署回去。一轮迭代往往要按周算，中间抓取失败了，还得靠人工调参。

爱思的解法，是Agnes Embed TTT（测试时训练）模型。它把数据采集、训练和推理放进同一个任务循环，机械臂一边干活，模型一边实时调整权重参数。

展台上演示的，是一只Franka Panda机械臂在MuJoCo仿真环境里干活：把红色方块搬进蓝色目标盘，五个步骤只要错一步，就算失败。

图片

而且在这个实验里，Agnes Harness也跟着模型一起进化。

具体来说，机械臂每干一轮活，系统就采集它的运动轨迹，把空抓、半路掉落这些无效动作统统剔掉，只拿成功轨迹里的有效步骤去训练模型。训完之后，再用测试集考一遍。

  • 考过了：直接更新模型，Harness不动；
  • 没考过：Harness出手，把抓取任务拆成更细的步骤，重新采集轨迹，再调模型参数。

也就是说，模型靠训练长本事，Harness负责把动作拆细、把训练排好，给模型创造更好的学习条件。

而且每次训练，动的参数都很少：752.4M参数的主干整体冻结，只放开后面7.35M参数的决策头，不到总量的1%。训出来的新版本，任务完成率还要比现役版本高出至少5个百分点，才准上线。

图片

这样练下来，在仿真研究里，机械臂的任务成功率从约30%涨到约70%，再涨到约90%。每一轮迭代的时间，也从按周算，压到了最快30分钟至1小时。

按新加坡国立大学助理教授李晓凡的说法，团队把数据采集、训练与推理整合进了同一个任务循环，在特定实验条件下，模型最快约30分钟就能迭代一次。

图片


图片
走进物理世界
一个大脑，同时指挥机器狗、小车和火星基地


不过，会进化的大脑想走出屏幕，还得先接上「身体」。

这个过程的难处在于，机器狗、相机、机械臂各说各的协议，每接一台设备，都得重写一遍底层代码。

为此，爱思定了一套标准，叫MHS（模型硬件标准）。设备接入后，先到中枢AgnesHub报到，登记自己的状态、能干什么、能提供哪些数据。

之后，大模型不用碰设备的底层代码，只用7个通用工具（查看、读取、调用、停止等）就能统一指挥。

比如在一段实测里，小车Car01和机器狗Go02被放到了一起。负责调度的Agent能用的，就是两台设备接入时登记的几项能力：看、说话、做动作、放音乐。

它先调出两台设备的摄像头，确认「两台设备面对面，相距约0.9米」，再让它们用英文互相问好。

接着，小车放起《YMCA》，机器狗跟着节拍跳了起来。

图片
下方是两台设备摄像头的第一视角

同样的办法，也能管住一整座基地。在仿真的火星基地Mars World里，12台设备同时在线，全由同一个Agent调度。

人只说了一句「宇航员失联了」，系统就自己排好了救援：跳跃器升空找人，机器人赶到宇航员身边，气闸打开舱门，把人带回居住舱。

另一轮任务是处理陨石坠落。负责拍板的小脑Jev只用了0.6秒，带着87%的把握，就派巡视车完成了对接。

图片
右边是12台设备的实时状态

整个调度过程中，人随时可以按下界面右上角的「全部停止」。这个按钮背后，是MHS定下的硬规矩：设备在任何状态下都必须接受停止指令，一旦断开连接，1秒内就要停下所有动作。

急停和互锁这些最后一道保险，仍然由设备自己的控制器负责。

回到南京的展台，机器狗、瓦力和一台双臂轮式机器人，接的也是同一个Harness大脑。

图片

现场，有人在Agnes Harness里敲下一句：「小狗，去找你的好朋友瓦力，然后打个招呼。」

Agent调出机器狗的摄像头看了一眼，回了一句：「瓦力就在正前方，正对着我！走过去靠近它。」

图片
右边是机器狗摄像头的画面，瓦力就在正中间

机器狗走到瓦力跟前，挥了挥爪子，大声打招呼：「瓦力，你好呀！好久不见，我是机器狗，很高兴见到你！」最后，它在任务报告里写道：「现在我俩正面对面站着呢。」

图片

有人又补了一句「跳个舞吧」，它当场就跳了一段。而从找人、走过去到挥爪打招呼，每一步都是Agent看着摄像头画面自己定的。


图片
从实验室到工厂
FDE让智能转化为真金白银


无论是峡谷超神，还是机器狗跳舞，这些场景更多只是极客的玩具。

而如何让AI真正走进企业的业务流程，解决实际问题，实现降本增效，才是技术从炫技走向商业价值的关键。

这也引出了Agnes此次展出的最后一块拼图：FDE（前线交付工程）。

图片

FDE的工程师会进到企业的业务现场，把查询做成插件，把判断规则写成Skills。

每家企业不一样的地方放进插件，执行交给Harness，验证过的能力沉淀下来，到了下一个项目，就能像搭乐高一样直接复用。

展台FDE区挂着三块屏，分别是AIGC、医疗器械和环保科技三个行业的案例。环保科技那块的标题最直白：「把环保专家经验变成自己的AI产品」。

图片

除了这三个行业，爱思也在和天创机器人探索电力作业场景。爱思负责视觉理解与任务推理，天创负责硬件与运动控制，双方正基于真实环境展开验证。 

合作中，Agnes Harness扮演了「具身大脑」的调度角色。

比如，你只需下达指令「明天早上十点去打开配电箱」，机器人就会自动执行。这不仅有助于解决传统具身智能在复杂任务理解、动态决策和跨设备协同方面的局限，也为多任务编排及非固定流程下的任务执行提供了技术支撑，让机器人能够更灵活地应对不同场景中的作业需求。

图片


图片
写在最后：通往AGI的必由之路

同样的模型，也被做成了普通人能直接用的产品。

展台上就摆着本地AI工作台「爱思办公」、AI短剧平台Pavo，旁边还有开发者用Agnes做应用的「AI+黑客松」决赛现场。

在爱思科技创始人杨通看来，今后要创造的是一种真正能够参与现实世界的智能。

而这一切的底座，便是模型。

图片

Agnes AI是一家全模态基础模型公司，从王者荣耀到机器狗、火星基地，背后调度的都是自家的Agnes 3.0系列。

目前，Agnes模型的Token调用量超65万亿，图片生成达4800万张，视频生成时长1.68亿秒。

在Agnes看来，AGI必须扎根物理现实。它得在一次次真实的抓取、搬运、救援与交付中积累因果常识，最终建立起自己的「世界模型」。

图片

大会三天就会落幕，但在南京的这个展台上，物理AI才刚刚觉醒。


编辑：Aeneas 摩西


秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标，锁定新智元极速推送！

图片

图片

前往微信阅读全文

内容来自公众号，可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →