PaperAgent公众号文章

从模型到Harness,港中文Agentic Robots全面综述

PaperAgent

公众号 · 51 篇文章

让机器人打开抽屉、取出蓝色方块,再放到桌面上,看起来只需要三步。但抽屉可能只拉开了一半,方块可能被挡住,抓取也可能会失败。机器人是该继续、再看一眼,还是换一种做法?

这些判断,正是 Agent 参与任务执行的重要环节:结合观察选择动作或技能,检查结果,再决定下一步。除了执行任务,Agent 还可以辅助训练、整理数据和搭建仿真场景,参与机器人能力的开发。

图片

围绕这些进展,香港中文大学 MMLab、复旦大学等机构的团队撰写了综述 《Towards Agentic Robots: Model, Data, Environment, and Harness》。

论文梳理机器人策略到 Agentic Robots 的发展,围绕模型、数据、环境和 Harness 四大领域、17 个功能类别介绍已有方法,并讨论实际应用中的挑战。

https://arxiv.org/abs/2610.20442
https://github.com/chonghanqin/Awesome-Agentic-Robots
图片

从机器人策略到 Agentic Robots

图 1 从动作学习、视觉语言理解、未来预测,到围绕任务组织和调用机器人能力
图 1 从动作学习、视觉语言理解、未来预测,到围绕任务组织和调用机器人能力

传统策略通过示范或奖励信号学习动作;视觉语言动作模型(VLA)把视觉、语言知识融入动作生成;世界模型预测环境变化,为规划提供参考;世界动作模型则进一步结合未来预测与动作学习。

但有了这些能力还不够,还得解决何时调用、怎么组合、执行出错怎么调整的问题。比如取蓝块的任务,开抽屉的动作由对应技能执行,Agent 则负责检查抽屉状态、判断能否抓取,再决定继续还是重试。

Agentic Robots 的核心,是围绕目标组织调度已有能力,并根据反馈动态调整执行策略。VLA、世界模型、机器人技能,都是这套体系的组成部分。

四大领域,理解 Agent 在机器人系统中的作用

综述同时关注机器人怎样完成眼前的任务,以及所需能力怎样开发、迭代。模型支持学习与决策,数据提供可用经验,环境承载练习与测试,Harness 则组织协调模型、工具和技能之间的配合。

图 2 模型、数据、环境与 Harness 相互配合,支持机器人能力开发和任务执行。
图 2 模型、数据、环境与 Harness 相互配合,支持机器人能力开发和任务执行。

模型:Agent 如何参与学习、决策与控制

模型领域分为训练、感知、规划、机器人控制和自适应五个方向。同样是取物失败,原因不同,Agent 需要介入的环节也不同。

图 3 围绕同一项取物任务,Agent 可以参与训练、感知、规划、控制与基于经验的自适应调整。
图 3 围绕同一项取物任务,Agent 可以参与训练、感知、规划、控制与基于经验的自适应调整。

没看清把手,就要补充观察、理解空间关系;抽屉没开就开始抓取,就要调整任务顺序;抓取位置或角度不合适,就要修正执行指令。

改进还可以深入到学习层面:设计奖励、调整训练方案,或利用经验更新模型参数和决策所依据的信息。区分开这些环节,才能有针对性地分析失败、选择对应的优化方法。

数据:怎样让每次尝试留下可用经验?

任务没完成,不代表整段数据都没价值。机器人可能已经拉开了抽屉,或是在抓取失败后采取了有效的补救动作,只保留完整成功的记录,等于浪费了这些有价值的片段。

图 4 从采集操作记录到补充标注、筛选片段,让交互经验成为可用的学习数据。
图 4 从采集操作记录到补充标注、筛选片段,让交互经验成为可用的学习数据。

数据领域围绕采集、标注与优化展开。Agent 可以安排不同任务和初始状态下的尝试,补充任务描述、动作阶段与结果标签,再筛选有效片段、修正错误标注。例如,把“打开抽屉”“抓取失败”“调整后重试”分开标注,更便于识别可用于学习的经验。

环境:在哪练、练什么、怎么测

机器人还需要供其练习、验证能力的环境。仿真抽屉只做到外观逼真还不够,把手位置、关节运动、物体摆放都会影响操作效果。

图 5 构建可交互场景、定义任务与成功条件,再通过不同测试检验机器人能力。
图 5 构建可交互场景、定义任务与成功条件,再通过不同测试检验机器人能力。

综述从环境重建、任务生成、评测构建三个方向展开:Agent 可以参与搭建可交互场景,设置目标、约束和成功条件,还能通过移动物体、增加障碍等方式设计测试场景,验证机器人能否适配新情况。

Harness:各项能力如何配合完成任务?

各个组件能单独正常工作,衔接处却依然容易出错:程序返回 “执行完成”,不代表抽屉真的拉开了;物体刚刚移动,决策系统可能还在沿用移动前的旧信息。

图 6 Harness 连接观察、决策和执行,并通过记忆、监控与恢复支持任务持续推进。
图 6 Harness 连接观察、决策和执行,并通过记忆、监控与恢复支持任务持续推进。

Harness 负责统筹观测信息、系统状态和任务进度,协调模型、工具与技能的协同,并校验执行结果。比如取蓝块的任务,Harness 会先确认抽屉状态、抓取条件是否满足,再由 Agent 决定是继续执行、补充观察还是切换技能。规划、执行、底层控制也要按各自的运行节奏协同配合。

经验可以存入记忆库,验证有效的操作可以沉淀成可复用技能,执行代码也可以根据反馈优化,不一定需要重新训练模型。但这些改动是否真的带来了能力提升,仍需在新任务中验证,同时确保原有能力不会退化。

写在最后

从决定下一步动作,到准备数据、构建环境、组织技能协同,Agent 正在渗透到机器人能力开发、任务执行的各个环节。大家可以通过论文和配套文献仓库了解完整研究,也欢迎交流机器人如何更可靠地完成任务、如何利用经验迭代能力。

动手设计AI Agents:(编排、记忆、插件、workflow、协作)
Loop工程已死,Graph工程永生
一篇Loop+Harness的自进化Agent最新综述
2026,做Agentic AI,绕不开这两篇开年综述
已经读到这了,不妨点个👍、❤️、↗️三连,加个星标⭐,不迷路哦~

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →