让机器人打开抽屉、取出蓝色方块,再放到桌面上,看起来只需要三步。但抽屉可能只拉开了一半,方块可能被挡住,抓取也可能会失败。机器人是该继续、再看一眼,还是换一种做法?
这些判断,正是 Agent 参与任务执行的重要环节:结合观察选择动作或技能,检查结果,再决定下一步。除了执行任务,Agent 还可以辅助训练、整理数据和搭建仿真场景,参与机器人能力的开发。
围绕这些进展,香港中文大学 MMLab、复旦大学等机构的团队撰写了综述 《Towards Agentic Robots: Model, Data, Environment, and Harness》。
论文梳理机器人策略到 Agentic Robots 的发展,围绕模型、数据、环境和 Harness 四大领域、17 个功能类别介绍已有方法,并讨论实际应用中的挑战。
https://arxiv.org/abs/2610.20442
https://github.com/chonghanqin/Awesome-Agentic-Robots
从机器人策略到 Agentic Robots
传统策略通过示范或奖励信号学习动作;视觉语言动作模型(VLA)把视觉、语言知识融入动作生成;世界模型预测环境变化,为规划提供参考;世界动作模型则进一步结合未来预测与动作学习。
但有了这些能力还不够,还得解决何时调用、怎么组合、执行出错怎么调整的问题。比如取蓝块的任务,开抽屉的动作由对应技能执行,Agent 则负责检查抽屉状态、判断能否抓取,再决定继续还是重试。
Agentic Robots 的核心,是围绕目标组织调度已有能力,并根据反馈动态调整执行策略。VLA、世界模型、机器人技能,都是这套体系的组成部分。
四大领域,理解 Agent 在机器人系统中的作用
综述同时关注机器人怎样完成眼前的任务,以及所需能力怎样开发、迭代。模型支持学习与决策,数据提供可用经验,环境承载练习与测试,Harness 则组织协调模型、工具和技能之间的配合。
模型:Agent 如何参与学习、决策与控制
模型领域分为训练、感知、规划、机器人控制和自适应五个方向。同样是取物失败,原因不同,Agent 需要介入的环节也不同。
没看清把手,就要补充观察、理解空间关系;抽屉没开就开始抓取,就要调整任务顺序;抓取位置或角度不合适,就要修正执行指令。
改进还可以深入到学习层面:设计奖励、调整训练方案,或利用经验更新模型参数和决策所依据的信息。区分开这些环节,才能有针对性地分析失败、选择对应的优化方法。
数据:怎样让每次尝试留下可用经验?
任务没完成,不代表整段数据都没价值。机器人可能已经拉开了抽屉,或是在抓取失败后采取了有效的补救动作,只保留完整成功的记录,等于浪费了这些有价值的片段。
数据领域围绕采集、标注与优化展开。Agent 可以安排不同任务和初始状态下的尝试,补充任务描述、动作阶段与结果标签,再筛选有效片段、修正错误标注。例如,把“打开抽屉”“抓取失败”“调整后重试”分开标注,更便于识别可用于学习的经验。
环境:在哪练、练什么、怎么测
机器人还需要供其练习、验证能力的环境。仿真抽屉只做到外观逼真还不够,把手位置、关节运动、物体摆放都会影响操作效果。
综述从环境重建、任务生成、评测构建三个方向展开:Agent 可以参与搭建可交互场景,设置目标、约束和成功条件,还能通过移动物体、增加障碍等方式设计测试场景,验证机器人能否适配新情况。
Harness:各项能力如何配合完成任务?
各个组件能单独正常工作,衔接处却依然容易出错:程序返回 “执行完成”,不代表抽屉真的拉开了;物体刚刚移动,决策系统可能还在沿用移动前的旧信息。
Harness 负责统筹观测信息、系统状态和任务进度,协调模型、工具与技能的协同,并校验执行结果。比如取蓝块的任务,Harness 会先确认抽屉状态、抓取条件是否满足,再由 Agent 决定是继续执行、补充观察还是切换技能。规划、执行、底层控制也要按各自的运行节奏协同配合。
经验可以存入记忆库,验证有效的操作可以沉淀成可复用技能,执行代码也可以根据反馈优化,不一定需要重新训练模型。但这些改动是否真的带来了能力提升,仍需在新任务中验证,同时确保原有能力不会退化。
写在最后
从决定下一步动作,到准备数据、构建环境、组织技能协同,Agent 正在渗透到机器人能力开发、任务执行的各个环节。大家可以通过论文和配套文献仓库了解完整研究,也欢迎交流机器人如何更可靠地完成任务、如何利用经验迭代能力。