极客BIM设计工坊公众号文章

Viggle 发布 JST-2:把场景、角色和动作放进同一个 3D 世界

Viggle 发布 JST-2,生成可探索的 3D 世界。

极客BIM设计工坊

公众号 · 447 篇文章

已关注
关注
重播 分享 赞
观看更多
    极客BIM设计工坊

    0/0

    00:00/01:45
    进度条,百分之0
    00:00
    /
    01:45
    01:45
    全屏

    倍速播放中
    您的浏览器不支持 video 标签

    继续观看

    Viggle 发布 JST-2:把场景、角色和动作放进同一个 3D 世界

    转载
    ,
    Viggle 发布 JST-2:把场景、角色和动作放进同一个 3D 世界
    极客BIM设计工坊
    已同步到看一看写下你的评论

    Viggle 发布 JST-2,把场景、角色和动作放进同一个可探索的 3D 世界。官方页面称,场景生成约需 1 秒,单次推理成本低于 0.01 美元;这组数据来自 NVIDIA B200 测试,未计网络延迟。

    约 1 秒

    场景生成。

    < $0.01

    官方单次推理成本。

    64 个视角

    空间上下文窗口。

    Viggle 把 JST-2 称为“物理原生世界基础模型”。它接收图片或多模态提示,生成带空间结构的 3D 表示。

    模型再根据新的视角、动作或外力,解码出图像和 3D Gaussian splats。

    01 世界先被表示,再被渲染。

    JST 的核心单位叫 Physics-Native Token。官方解释是,每个 token 对应 3D 空间中的一个持久化原子,可以代表一块物质或物体的一部分;它带有 xyz 位置、属性向量和动力学向量。模型因此保留了对象在空间中的身份,以及它随时间移动、变形时的变化信息。

    图片

    视频中的架构示意:输入图像经过 JST 编码器,进入 3D 空间中的持久化原子。解码器再输出图像或 3D Gaussian splats。

    这套表示让“换一个角度看同一个场景”拥有了中间状态。官方页面展示的交互流程包括输入图像、编码、生成 token 和选择视角。

    用户还可以加入运动或外力,最后输出图像或可在浏览器中渲染的 3D Gaussian splats。

    02 一次生成之后,场景可以继续扩展。

    JST-2 的场景生成页面支持从文本提示或图片开始。官方称,模型最多接收 64 个输入视角作为空间上下文;用户每增加一个视角,后续生成就可以获得更多场景信息。已经生成的场景也能从不同角度反复查看,重新生成只发生在新增内容时。

    官方给出的场景生成时间约为 1 秒,测试环境是 NVIDIA B200,且不包含网络延迟。页面将这一结果与 Marble 的约 5–6 分钟生成时间并列展示。这个对比对应的是模型推理阶段,不等同于完整应用从输入到交付的总耗时。

    03 角色、动作和机器人进入同一条链路。

    已关注
    关注
    重播 分享 赞
    观看更多
      极客BIM设计工坊

      0/0

      00:00/00:08
      进度条,百分之0
      00:00
      /
      00:08
      00:08
      全屏

      倍速播放中
      您的浏览器不支持 video 标签

      继续观看

      Viggle 发布 JST-2:把场景、角色和动作放进同一个 3D 世界

      转载
      ,
      Viggle 发布 JST-2:把场景、角色和动作放进同一个 3D 世界
      极客BIM设计工坊
      已同步到看一看写下你的评论

      JST-2 还把角色和动作放进同一个世界表示。官方页面展示了从单张图片生成 3D 角色、从文字生成全身动作,以及从视频重建动作的案例。

      页面也展示了让角色在场景中完成动作的过程。角色生成结果带有动作动力学信息,官方称这可以省去单独的绑定和蒙皮步骤。

      图片

      视频中的机器人场景:左侧画面标注为世界视图,右侧画面显示机器人视角和动作指令。

      画面文字写着“让机器人拿起左侧的盒子”。

      视频演示中的一个场景是:机器人站在室内人物前方,界面同时显示世界视图、机器人视角和动作提示。右侧文字要求机器人拿起左侧的盒子,画面把环境、人物、机器人和动作放在了一起。

      Viggle 在视频口播中把这条路线连接到机器人训练环境。当前公开材料展示的是生成与重建能力,机器人训练效果仍需要单独的实验与部署证据。

      04 官方测试给出了什么,API 又开放到哪一步。

      在角色生成的盲测中,Viggle 将 JST-2 与 Meshy 7.1、Tripo H3.1 比较。官方页面显示,JST-2 在服装、纹理、身体和面部质量等项目上取得更高的偏好分数;角色动画准备度测试也覆盖关节对齐、绑定可用性、变形质量和手部绑定。页面同时提供了完整的角色 benchmark 链接,但没有在这次发布页中公开全部测试协议。

      开发者入口已经出现在 Viggle API 页面。公开的 Scene Model 接口可以从文本提示或 360° 全景图生成可探索的 3D 场景。

      接口返回 .spz Gaussian splat。页面给出的场景生成价格是每个提示场景 0.06 美元,后续新视角和重建任务各为 0.01 美元。API 页面还要求开发者用密钥、异步任务和轮询流程接入,签名 URL 需要自行下载和保存。

      边界读者需要分开看三件事。

      已发布:JST-2 的场景、角色和动作生成页面,以及 API 页面列出的相关入口。

      仍需验证:机器人训练中的成功率、复杂物理交互和真实生产项目的稳定性。

      JST-2 把场景、角色和动作放进同一套空间表示。对内容创作者,生成结果可以继续被观察和扩展;对开发者,API 已经把 3D 场景、角色和动作拆成了可以调用的入口。

      对机器人研究,Viggle 正在把它们指向可生成的训练环境。下一步需要看的,是这些世界能否在更复杂的交互中保持结构、动作和物理关系。


      SOURCES。

      Viggle JST-2 官方发布页。

      Viggle Models & API 官方页面。

      Viggle 官方 X 帖与视频转写。

      前往微信阅读全文

      内容来自公众号,可前往微信查看原文。

      查看作者的更多文章 →订阅更新、RSS 与阅读指南 →