CVer公众号文章

刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准

CVer

公众号 · 6 篇文章

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

【Agent】首个技术群成立!围绕Agent技术体系,持续整理前沿论文、开源项目、技术教程、学习路线、行业动态、招聘与面试真题,帮助你把碎片化信息串成一套完整的Agent知识体系。大家快扫码加入Agent群学习:
图片
▲ 扫码入群
一水 发自 凹非寺
转载自:量子位(QbitAI)

??机器人已经开始把自己踩过的坑,写成Skill了。

就在刚刚,英伟达正式开源机器人智能体框架ASPIRE V1.0。

这套框架能让机器人自己写控制程序、执行任务、复盘失败、修改代码,再把验证有效的方法存进技能库。

图片

更猛的是,这套学习能力还会随着底层模型升级直接起飞。

据英伟达机器人负责人Jim Fan透露,OpenAI发布GPT-6 Astra当天,团队直接给ASPIRE换了个“脑子”。

结果只过了一夜,多个机器人基准就被刷到了接近满分:

LIBERO-Pro的80项任务成功率达到99%,Robosuite的7项代表性任务和BEHAVIOR-1K的2项代表性任务,则全部达到100%。

Jim Fan将这次变化形容为机器人领域的一场“0到1海啸”。

这回,机器人不光能练。

练出来的经验,咱也能直接下载了。

(P.S. 代码、实验配置和Skills现已全部开源,传送门文末~)

机器人干砸了,先让它自己查Bug

ASPIRE全称是Agentic Skill Programming through Iterative Robot Exploration。

名字挺长,逻辑倒不复杂:

把机器人当成一个会运行代码、也会调试代码的Agent。

图片

机器人编程向来是个麻烦活。

摄像头得先认出目标,系统还要计算抓取点、选择机械臂、规划运动轨迹、避开障碍物,夹爪什么时候闭合、用了多大力度,同样会影响结果。

中间任何一步出错,最后都可能变成同一个画面——

机械臂伸过去,啪,杯子掉了。

过去碰到这种问题,工程师得人工翻日志、调参数、改程序,再让机器人重新跑一遍。

图片

ASPIRE把这套流程交给了编程Agent。

机器人执行任务时,系统会留下完整的多模态轨迹,包括视觉识别结果、候选抓取点、运动路径和碰撞反馈。

一旦任务失败,Agent便能顺着轨迹往回查:

物体有没有认准?抓取位置是不是偏了?机械臂到底够不够得着?运动规划器有没有给出一条能走通的路线?

问题定位完成后,Agent修改控制程序,再拉机器人重新执行。

改对了,保留,又失败了,接着调。

已关注
关注
重播 分享 赞
观看更多
    CVer

    0/0

    00:00/00:36
    进度条,百分之0
    00:00
    /
    00:36
    00:36
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准

    转载
    ,
    刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准
    CVer
    已同步到看一看写下你的评论

    ASPIRE还会同时探索不同方案。

    比如机械臂连续几次抓不起地面上的罐子,系统可以尝试换手、调整机器人与目标的距离、改用更复杂的运动规划器,或者从另一个方向接近。

    一条路走不通,那就多开几条。

    经过多轮执行和筛选之后,真正有效的方案才会进入下一步。

    已关注
    关注
    重播 分享 赞
    观看更多
      CVer

      0/0

      00:00/00:20
      进度条,百分之0
      00:00
      /
      00:20
      00:20
      全屏

      倍速播放中
      您的浏览器不支持 video 标签

      继续观看

      刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准

      转载
      ,
      刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准
      CVer
      已同步到看一看写下你的评论

      而下一步,恰恰是整个框架最值钱的地方。

      【Agent】首个微信群成立!围绕Agent技术体系,持续整理前沿论文、开源项目、技术教程、学习路线、行业动态、招聘与面试真题,帮助你把碎片化信息串成一套完整的Agent知识体系。大家快扫码加入Agent群学习:
      图片
      ▲ 扫码入群

      每次翻车,都会留下机器人版“错题集”

      修好一个Bug,当然有用。

      把修Bug的方法留下来,下次继续用,价值就完全不一样了(授人以鱼不如授人以渔)。

      ASPIRE会将验证成功的经验整理成Skill,放进持续扩张的技能库。

      下次遇到相似场景,Agent可以直接检索已有Skill,再结合眼前任务生成控制程序。

      举个例子。

      机器人面对一个掉在地上的罐子,可能已经从历史任务中总结出一套经验:

      距离目标0.45米更容易伸到、常规移动接口在低处容易失效、复杂的逆运动学规划器成功率更高……

      这些经验过去常常藏在研究人员的实验记录里,换个任务、换个人、换台机器人,可能又得踩一遍坑。

      到了ASPIRE这里,它们会被整理成Agent能检索、组合和调用的技能。

      已关注
      关注
      重播 分享 赞
      观看更多
        CVer

        0/0

        00:00/00:12
        进度条,百分之0
        00:00
        /
        00:12
        00:12
        全屏

        倍速播放中
        您的浏览器不支持 video 标签

        继续观看

        刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准

        转载
        ,
        刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准
        CVer
        已同步到看一看写下你的评论

        目前,官网展示的技能库包含90多项Skill,覆盖150多个任务,分为18个类别。

        抓取、导航、物体搜索、感知定位、双臂操作、失败恢复,全有。

        图片

        而且技能库越丰富,机器人面对新任务时的表现也会跟着上涨。

        在LIBERO-Pro Long的代表性未见任务中,ASPIRE依靠此前积累的技能,取得了31%的零样本成功率。

        此前方法需要在测试阶段反复推理和重试,成功率只有4%。

        31%放在普通Benchmark里可能谈不上夸张,可这里测的是机器人未见过的长程任务。

        换句话说,ASPIRE没有提前练过这道题,却能从过去积累的Skill中翻出几条相关经验,现场拼出一套解法。

        这就很关键了。

        机器人学到的东西,正在从“一项任务对应一段程序”,走向可以跨任务复用的操作知识。

        更进一步,模拟器里攒下的Skill还能迁移到真实机器人。

        团队将模拟器里发现的技能交给真实设备后,即使更换机器人形态和API,Agent完成首次成功调试所需的Token减少了,最终程序在没见过的测试里,成功率也更高了。

        换个更强模型,一夜刷满基准

        ASPIRE这次开源,还有一个很容易被忽略的信号:

        机器人的能力,开始越来越直接地跟随通用大模型的能力上涨。

        图片

        前面那组“一夜刷到99%”的成绩,可能很快又要被新模型往上推了。

        按照Jim Fan给出的测试结果,Claude Opus 5.5在机器人模拟基准上已经略微超过Astra。

        Sonnet 5.5则落在成本与能力的帕累托前沿,单任务成本约12美元。

        图片

        这背后的变化,比某个榜单数字更值得关注。

        ASPIRE早期使用Claude Opus 4.6作为后端,当Astra发布后,团队直接更换底层模型,机器人的任务成功率随即跳了一截。

        整套机器人系统没有经历大幅重构。

        换个更强的“脑子”,原来的感知工具、控制接口、执行反馈和Skill库还能接着用。

        这也让ASPIRE越来越像一套机器人版Agent Harness。

        上层负责看环境、调用工具、执行代码、积累经验,底层的推理模型则可以随着前沿能力进步不断替换。

        大模型越会写代码、看图、调用工具和进行长程推理,这套机器人框架就越能打。

        Jim Fan把这种现象称作“Physical Bitter Lesson”。

        通用模型在软件世界里学会的推理、编程和工具调用能力,正沿着ASPIRE这样的框架进入物理世界。

        机器人开发也随之出现了一条新路线:

        工程师搭好感知和控制接口,Agent进入环境反复执行、修Bug、攒Skill。

        底层模型每升级一次,整套系统都有机会跟着变强。

        One More Thing

        英伟达开源ASPIRE之际,李飞飞创办的World Labs也有新动作了。

        世界模型Atlas的Beta访问资格,已经开始分批推送(现在用需要在官网提申请)。

        图片

        这次官方重点演示了像素级精度的相机路径控制。

        用户可以指定相机的位置、角度和移动路线,Atlas再根据一张或多张参考图,生成对应视角的视频。

        最高可输出1分钟、1440p。

        已关注
        关注
        重播 分享 赞
        观看更多
          CVer

          0/0

          00:00/00:52
          进度条,百分之0
          00:00
          /
          00:52
          00:52
          全屏

          倍速播放中
          您的浏览器不支持 video 标签

          继续观看

          刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准

          转载
          ,
          刚刚,英伟达开源机器人Harness!接入GPT-6 Astra一夜刷爆所有基准
          CVer
          已同步到看一看写下你的评论

          Atlas还可以从少量图片或手机视频中重建空间,输出点云和3D Gaussian Splat,并模拟机器人在场景中看到的RGB与深度信息。

          这么一看,它和ASPIRE刚好能凑成一套很有画面的组合:

          Atlas批量生成和重建模拟世界,ASPIRE把机器人放进去执行任务、查Bug、攒Skill。

          就是不知道已被AMD收购的World Lab,能不能给老黄提供Atlas了(doge)。

          项目地址:
          https://research.nvidia.com/labs/gear/aspire/
          开源地址(Apache 2.0许可证):
          https://github.com/nvlabs/aspire

          参考链接:
          [1]https://x.com/DrJimFan/status/2111128797181567466
          [2]https://x.com/theworldlabs/status/2110782427803341251

          何恺明在MIT授课的课件PPT下载
          在CVer公众号后台回复:何恺明,即可下载566页课件PPT!大家赶紧学起来!
          CVPR 2026 所有论文和代码下载
          在CVer公众号后台回复:CVPR2026,即可下载CVPR 2026 所有论文和代码!
          ECCV 2026 所有论文和代码下载
          在CVer公众号后台回复:ECCV2026,即可下载ECCV 2026 所有论文和代码!

          CV垂直方向和论文投稿交流群成立

          扫描下方二维码,或者添加微信号:CVer2233,即可添加CVer小助手微信,便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。


          一定要备注:研究方向+地点+学校/公司+昵称(如Mamba、多模态学习或者论文投稿+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

          图片

          ▲扫码或加微信号: CVer2233,进交流群


          CVer计算机视觉(知识星球)人数破万!如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料,一定要扫描下方二维码,加入CVer知识星球!最强助力你的科研和工作!


          Image

          ▲扫码加入星球学习

          ▲点击上方卡片,关注CVer公众号

          整理不易,请点赞和在看图片

          前往微信阅读全文

          内容来自公众号,可前往微信查看原文。

          查看作者的更多文章 →订阅更新、RSS 与阅读指南 →