极客BIM设计工坊公众号文章

从 real2mesh 到 real2sim:把手与物体的真实交互带进仿真

从外形重建到4D交互仿真,拆解一条real2sim演示链路。

极客BIM设计工坊

公众号 · 467 篇文章

已关注
关注
重播 分享 赞
观看更多
    极客BIM设计工坊

    0/0

    00:00/00:36
    进度条,百分之0
    00:00
    /
    00:36
    00:36
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    从 real2mesh 到 real2sim:把手与物体的真实交互带进仿真

    转载
    ,
    从 real2mesh 到 real2sim:把手与物体的真实交互带进仿真
    极客BIM设计工坊
    已同步到看一看写下你的评论

    视频演示,把现实中的手、线缆和工具操作,与仿真里的对应动作并置。帖主讨论的是 real2mesh 与 real2sim 的差别。外形重建只是起点。仿真还要跟上物体的运动和交互。

    36秒

    视觉演示。

    4D

    时间连续的场景表示。

    2类

    第一视角与外部视角。

    图片

    原帖视频把现实操作、4D重建和仿真画面并置。

    01 从外形重建到可运行场景。

    real2mesh 关注的是物体的几何外形。输入一段视频或多视角影像,输出网格、点云或其他三维表示。这个结果可以被看见,也可以被放进引擎。它还要回答两个问题。物体怎样运动。手碰到它时会发生什么。

    帖主把这一步称为 4D scene understanding。作者将它与物体物理属性的提取联系起来。

    图片

    视频开场显示真实桌面上的手、线缆和工具。

    02 4D 表示记录的是什么。

    视频中出现了“4DGS”和“4D parametric reconstruction”等画面标签。随后,同一组手与线缆被转换为简化的参数化表示。画面保留手部姿态、线缆走向和物体之间的相对位置。重点从“长什么样”移到了“怎样一起运动”。

    图片

    画面标签显示“4D parametric reconstruction”。手与线缆进入参数化表示。

    Gracia 官网公开页面把这类数据描述为“自定义 4D 数据”。页面列出度量深度、4D 手部跟踪和语义属性等字段。页面还提到,持久化 ID 可用于追踪整段序列中的点和轨迹。这些字段对应仿真评测的几类对象:空间位置、运动过程和语义关系。

    03 SDK 的作用,是把现实动作调进仿真。

    帖主描述的流程包含两步。先把第一视角与外部视角视频重建成具有时间连续性的表示。再用 SDK 调整仿真,让仿真动作跟随现实记录。视频后半段的“Simulation”画面,把彩色手部、线缆和工具放入简化环境中。旁边保留真实画面作为参照。

    图片

    仿真画面保留手、工具和线缆的对应关系,并叠加真实画面作为参照。

    这使 SDK 不只是播放或渲染接口。它还承担场景加载、时间控制、数据读取和结果对齐。对机器人研究者来说,一次现实手物交互可以被整理成可重复的仿真场景。研究者再用它训练、测试和比较不同策略。

    04 这条路线把评测对象往前推了一步。

    帖主把这套流程与 real2sim、sim2real 的 benchmark 联系在一起。前者可以检查现实场景能否被重建并运行,后者可以检查仿真中学到的动作回到现实后是否仍然成立。官网则把应用方向写成 Physical AI、仿真、评测和数据采集。

    现有公开页面列出了重建、参数化表示和仿真对照这条工作链。具体的物理属性提取方法、误差指标、训练数据规模和 benchmark 协议,仍需要项目方进一步公开。对这类演示,后续要看的是同一套场景能否被重复加载、定量评分,并在不同物体和动作上保持一致结果。


    SOURCES。

    来源:Andrey Volodin 社区帖子。

    来源:Gracia 官方数据页面。

    来源:Gracia 官方主页与 SDK 文档索引。

    前往微信阅读全文

    内容来自公众号,可前往微信查看原文。

    查看作者的更多文章 →订阅更新、RSS 与阅读指南 →