点击下方卡片,关注“CVer”公众号
AI/CV重磅干货,第一时间送达
AI/CV重磅干货,第一时间送达
一水 发自 凹非寺
转载自:量子位(QbitAI)
??机器人已经开始把自己踩过的坑,写成Skill了。
就在刚刚,英伟达正式开源机器人智能体框架ASPIRE V1.0。
这套框架能让机器人自己写控制程序、执行任务、复盘失败、修改代码,再把验证有效的方法存进技能库。
更猛的是,这套学习能力还会随着底层模型升级直接起飞。
据英伟达机器人负责人Jim Fan透露,OpenAI发布GPT-6 Astra当天,团队直接给ASPIRE换了个“脑子”。
结果只过了一夜,多个机器人基准就被刷到了接近满分:
LIBERO-Pro的80项任务成功率达到99%,Robosuite的7项代表性任务和BEHAVIOR-1K的2项代表性任务,则全部达到100%。
Jim Fan将这次变化形容为机器人领域的一场“0到1海啸”。
这回,机器人不光能练。
练出来的经验,咱也能直接下载了。
(P.S. 代码、实验配置和Skills现已全部开源,传送门文末~)
机器人干砸了,先让它自己查Bug
ASPIRE全称是Agentic Skill Programming through Iterative Robot Exploration。
名字挺长,逻辑倒不复杂:
把机器人当成一个会运行代码、也会调试代码的Agent。
机器人编程向来是个麻烦活。
摄像头得先认出目标,系统还要计算抓取点、选择机械臂、规划运动轨迹、避开障碍物,夹爪什么时候闭合、用了多大力度,同样会影响结果。
中间任何一步出错,最后都可能变成同一个画面——
机械臂伸过去,啪,杯子掉了。
过去碰到这种问题,工程师得人工翻日志、调参数、改程序,再让机器人重新跑一遍。
ASPIRE把这套流程交给了编程Agent。
机器人执行任务时,系统会留下完整的多模态轨迹,包括视觉识别结果、候选抓取点、运动路径和碰撞反馈。
一旦任务失败,Agent便能顺着轨迹往回查:
物体有没有认准?抓取位置是不是偏了?机械臂到底够不够得着?运动规划器有没有给出一条能走通的路线?
问题定位完成后,Agent修改控制程序,再拉机器人重新执行。
改对了,保留,又失败了,接着调。
ASPIRE还会同时探索不同方案。
比如机械臂连续几次抓不起地面上的罐子,系统可以尝试换手、调整机器人与目标的距离、改用更复杂的运动规划器,或者从另一个方向接近。
一条路走不通,那就多开几条。
经过多轮执行和筛选之后,真正有效的方案才会进入下一步。
而下一步,恰恰是整个框架最值钱的地方。
每次翻车,都会留下机器人版“错题集”
修好一个Bug,当然有用。
把修Bug的方法留下来,下次继续用,价值就完全不一样了(授人以鱼不如授人以渔)。
ASPIRE会将验证成功的经验整理成Skill,放进持续扩张的技能库。
下次遇到相似场景,Agent可以直接检索已有Skill,再结合眼前任务生成控制程序。
举个例子。
机器人面对一个掉在地上的罐子,可能已经从历史任务中总结出一套经验:
距离目标0.45米更容易伸到、常规移动接口在低处容易失效、复杂的逆运动学规划器成功率更高……
这些经验过去常常藏在研究人员的实验记录里,换个任务、换个人、换台机器人,可能又得踩一遍坑。
到了ASPIRE这里,它们会被整理成Agent能检索、组合和调用的技能。
目前,官网展示的技能库包含90多项Skill,覆盖150多个任务,分为18个类别。
抓取、导航、物体搜索、感知定位、双臂操作、失败恢复,全有。
而且技能库越丰富,机器人面对新任务时的表现也会跟着上涨。
在LIBERO-Pro Long的代表性未见任务中,ASPIRE依靠此前积累的技能,取得了31%的零样本成功率。
此前方法需要在测试阶段反复推理和重试,成功率只有4%。
31%放在普通Benchmark里可能谈不上夸张,可这里测的是机器人未见过的长程任务。
换句话说,ASPIRE没有提前练过这道题,却能从过去积累的Skill中翻出几条相关经验,现场拼出一套解法。
这就很关键了。
机器人学到的东西,正在从“一项任务对应一段程序”,走向可以跨任务复用的操作知识。
更进一步,模拟器里攒下的Skill还能迁移到真实机器人。
团队将模拟器里发现的技能交给真实设备后,即使更换机器人形态和API,Agent完成首次成功调试所需的Token减少了,最终程序在没见过的测试里,成功率也更高了。
换个更强模型,一夜刷满基准
ASPIRE这次开源,还有一个很容易被忽略的信号:
机器人的能力,开始越来越直接地跟随通用大模型的能力上涨。
前面那组“一夜刷到99%”的成绩,可能很快又要被新模型往上推了。
按照Jim Fan给出的测试结果,Claude Opus 5.5在机器人模拟基准上已经略微超过Astra。
Sonnet 5.5则落在成本与能力的帕累托前沿,单任务成本约12美元。
这背后的变化,比某个榜单数字更值得关注。
ASPIRE早期使用Claude Opus 4.6作为后端,当Astra发布后,团队直接更换底层模型,机器人的任务成功率随即跳了一截。
整套机器人系统没有经历大幅重构。
换个更强的“脑子”,原来的感知工具、控制接口、执行反馈和Skill库还能接着用。
这也让ASPIRE越来越像一套机器人版Agent Harness。
上层负责看环境、调用工具、执行代码、积累经验,底层的推理模型则可以随着前沿能力进步不断替换。
大模型越会写代码、看图、调用工具和进行长程推理,这套机器人框架就越能打。
Jim Fan把这种现象称作“Physical Bitter Lesson”。
通用模型在软件世界里学会的推理、编程和工具调用能力,正沿着ASPIRE这样的框架进入物理世界。
机器人开发也随之出现了一条新路线:
工程师搭好感知和控制接口,Agent进入环境反复执行、修Bug、攒Skill。
底层模型每升级一次,整套系统都有机会跟着变强。
One More Thing
英伟达开源ASPIRE之际,李飞飞创办的World Labs也有新动作了。
世界模型Atlas的Beta访问资格,已经开始分批推送(现在用需要在官网提申请)。
这次官方重点演示了像素级精度的相机路径控制。
用户可以指定相机的位置、角度和移动路线,Atlas再根据一张或多张参考图,生成对应视角的视频。
最高可输出1分钟、1440p。
Atlas还可以从少量图片或手机视频中重建空间,输出点云和3D Gaussian Splat,并模拟机器人在场景中看到的RGB与深度信息。
这么一看,它和ASPIRE刚好能凑成一套很有画面的组合:
Atlas批量生成和重建模拟世界,ASPIRE把机器人放进去执行任务、查Bug、攒Skill。
就是不知道已被AMD收购的World Lab,能不能给老黄提供Atlas了(doge)。
项目地址:
https://research.nvidia.com/labs/gear/aspire/
开源地址(Apache 2.0许可证):
https://github.com/nvlabs/aspire
参考链接:
[1]https://x.com/DrJimFan/status/2111128797181567466
[2]https://x.com/theworldlabs/status/2110782427803341251
在CVer公众号后台回复:何恺明,即可下载566页课件PPT!大家赶紧学起来! CVPR 2026 所有论文和代码下载 在CVer公众号后台回复:CVPR2026,即可下载CVPR 2026 所有论文和代码! ECCV 2026 所有论文和代码下载 在CVer公众号后台回复:ECCV2026,即可下载ECCV 2026 所有论文和代码!
CV垂直方向和论文投稿交流群成立
扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者论文投稿+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

▲扫码或加微信号: CVer2233,进交流群
CVer计算机视觉(知识星球)人数破万!如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料,一定要扫描下方二维码,加入CVer知识星球!最强助力你的科研和工作!

▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看
▲扫码或加微信号: CVer2233,进交流群
CVer计算机视觉(知识星球)人数破万!如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料,一定要扫描下方二维码,加入CVer知识星球!最强助力你的科研和工作!
▲扫码加入星球学习
▲点击上方卡片,关注CVer公众号
整理不易,请点赞和在看