这几天,2026 物理 AI 与世界模型大会,正在南京国际博览中心举办。
Agnes AI 展台的「万物共脑,从数字世界走向物理世界」主题,吸引了众人来围观。
现场还有机械狗和瓦力一起互动,各大屏幕上放着用 AI 打王者荣耀、机械臂抓取等有趣的案例。
进去了解,发现这些演示案例背后,用的是他们不久前开源的 Agnes Harness 框架。
这里先说下,Agnes AI 本身是一家全模态基础模型公司,自研的模型覆盖了文本、图片和视频。
其旗下模型目前平均每个月的 Token 调用量超 65 万亿,图片生成达 4800 万张,视频生成时长 1.68 亿秒。
这次以「万物共脑」为主题参展,他们把全模态模型作为基础,再让 Agnes Harness 作为核心。
由它把模型、决策、执行和进化这些能力组织到一起,再接到不同的设备和业务上。
GitHub:https://github.com/AgnesAI-Labs/agnes-harness
大脑、小脑与身体
模型要调用什么工具、任务现在做到哪一步、结果怎么显示到业务界面,全交给 Agnes Harness 处理。
它由大脑、小脑、反射弧、记忆与主动性、学习能力和身体六个部分组成,下面挨个来看看。
先看大脑,也就是 LLM,理解问题之后做推理,想好接下来该怎么做。
小脑则是一个叫 Jev 的决策模型,负责结构化决策,协调具体的执行。
需要想清楚的交给 LLM,执行中需要快速做决定的,就交给 Jev。
反射弧对应的是 Workflow,常用的流程提前编排好,碰到对应情况直接按流程执行。
记忆与主动性靠的是 Agent Loop,任务做到哪一步了,用过什么工具,结果怎么样,都会记下来。
它会把结果交回给 LLM,一轮接一轮往下推进,直到把任务做完。
学习能力就是 RSI 和 TTT,一个让系统越用越好,一个让模型越用越好。
至于身体,对应的是 MHS,真实的硬件通过这个标准化接口和协议接进来。
接上真实设备
MHS 全称是 Model Hardware Standard,一套面向物理设备的开放接入协议。
机器人、车辆、相机、传感器这些设备,各家的接口都不一样,想让 AI 调用一台新设备,往往得单独再适配一遍。
设备接入 MHS 之后,会先向 AgnesHub 登记自己的信息和状态,有哪些工具可以调用、有哪些数据来源。
智能体再通过 AgnesHub 去查设备状态、发起动作请求,并拿到执行结果,中间不依赖厂商专属的 SDK。
现场工作人员为我们演示了,在 Agnes Harness 里输入一句「小狗,去找你的好朋友瓦力,然后打个招呼」。
展台上的机械狗就会自己找到瓦力,走到它跟前打招呼,工作人员再下达指令让它跳了个舞,很有意思。
就像这样简单一句话下发任务,机械狗就能理解并执行,还能跟小车、机械臂几台硬件联动起来,不用写复杂的程序。
除了真机,官方还做了一个火星救援的案例,在一座仿真的火星基地里,一名宇航员在基地外失联了。
智能体先调度飞行器去搜索宇航员,再协调机器人和气闸完成救援。
飞行器、机器人、气闸是几类不同的设备,在接入 MHS 之后,都能交给同一个智能体来指挥。
比如飞行器拍到的画面、每台设备在什么位置,会实时传回来,智能体根据这些信息继续调度。
不管是展台上的机械狗和小车,还是火星基地里的这几台设备,也能接入 MHS 后协同起来干活。
双进化智能系统
这次展台还重点展示了 Agnes Embed TTT × Agnes Harness,称之为「双进化智能系统」。
现在主流的大模型,训练完部署上线之后,参数基本就固定了。
用的过程中积累下来的经验,很难及时变成模型的新能力,下次遇到同样的问题,还是原来的水平。
Agnes 解决办法是让系统和模型两头在干活的过程中变好,一头叫系统进化,一头叫模型进化。
系统进化靠的是 Agnes Harness RSI,RSI 就是递归自我改进,展台上拿来演示的案例,是让 AI 打王者荣耀。
在对战里,LLM 负责定高层策略,Jev 负责快速做出每一个具体决策。
每打完一局,系统都会进行复盘,找出问题,再去调整策略指令、决策选项,甚至是执行代码。
经过 5 轮不断迭代调整后,胜率能达到百分百,还会和自己对战,再接着往下迭代,继续进化。
模型进化则交给 Agnes Embed TTT,TTT 是 Test-Time Training 的缩写,也就是测试时训练。
传统的模型迭代,要先积累一批任务数据,再集中训练、测试和部署,一轮下来要花不少时间。
Agnes Embed TTT 走的是训推一体的路子,把数据采集、训练和推理放进任务执行的过程里。
形成「使用、学习、更新、再使用」的循环,从而做到实时调整模型的权重参数。
展台上的案例是一个机械臂抓取的模拟实验,机械臂一边抓,系统一边收集数据拿去训练,越抓越准。
按 Agnes 给出的数据,Agnes Embed TTT 最快能把模型迭代周期缩短到 30 分钟至 1 小时一轮。
除了王者荣耀和机械臂,展台上还有一个蛋白质合成的案例,算是 Agnes 模型在 AI for Science 方向上的探索。
走进行业现场
接下来还有企业里的业务要适配,同样接入了设备,每家企业怎么用,现场要解决什么问题,也都不一样。
这部分 Agnes 采用的是 FDE(Forward Deployed Engineering),由工程团队到业务现场,先弄清楚需求,再做系统适配,验证之后交付。
FDE 团队用 Agnes Harness 来开发和运行智能体,模型调度、工具调用、工作流编排和记忆管理都可以用现成的,多智能体协同、安全与部署也在里面。
接一个新项目时,FDE 团队就不用从头再写这些通用功能,主要去处理现场业务,按需求把流程做出来。
展区里列出的应用方向包括智能制造、医疗应用,也有智慧文旅和科研实验。
此外,在工业场景里,Agnes 也正在和天创机器人合作,探索基于 MHS 架构的电力作业机器人应用。
在合作中,Agnes Harness 负责机器人「大脑」的运行和调度,再结合 VLM 视觉语言模型和 Jev 决策模型,让机器人能看懂环境、推理任务、做出决策。
天创机器人则提供机器人本体、空间标定和运动控制能力,把这些决策变成实际的动作。
MHS 在中间把智能体和机器人硬件连起来,模型通过标准化接口就能获取设备状态、调用执行能力。
从理解指令、识别目标到执行动作,整个任务流程正在一步步打通。
这样一来,多任务编排、多台设备协同工作和运行监控,都有了一个可靠的执行平台。
以往具身智能方案在处理复杂任务、跨设备协作时碰到的局限,也有了新的技术支撑。
写在最后
这两年我们用 AI 写代码、做文档,生成图片和视频,能做的事情已经很多了。
现在要让 AI 去开小车,或者让机械臂抓取一个零件,还得接上设备,记住任务做到了哪一步,出了错也得知道怎么改。
Agnes 自己做覆盖文本、视频、图片的全模态模型,也做 Agnes Harness,把模型和工具组织起来,通过 MHS 接设备,再由 FDE 团队到行业里去做交付。
Agnes 希望沿着这个方向去做 AGI,让 AI 能在物理环境里完成任务,也能根据执行的结果继续学习和改进。
另外,Agnes 也做了本地桌面 AI 工作台爱思办公,以及一站式 AI 短剧创作平台 Pavo,这次大会还安排了 Agnes Harness 黑客松决赛。
想看看 Agnes Harness 怎么调用设备,可以先跑仓库里的火星基地示例,用的是虚拟设备,手边没有机器人也能体验。
对物理 AI 或智能体开发感兴趣的朋友,不妨拿这个示例试试,也可以先 Star 收藏。
GitHub 项目地址:https://github.com/AgnesAI-Labs/agnes-harness
今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!