Viggle 发布 JST-2,把场景、角色和动作放进同一个可探索的 3D 世界。官方页面称,场景生成约需 1 秒,单次推理成本低于 0.01 美元;这组数据来自 NVIDIA B200 测试,未计网络延迟。
约 1 秒
场景生成。
< $0.01
官方单次推理成本。
64 个视角
空间上下文窗口。
Viggle 把 JST-2 称为“物理原生世界基础模型”。它接收图片或多模态提示,生成带空间结构的 3D 表示。
模型再根据新的视角、动作或外力,解码出图像和 3D Gaussian splats。
01 世界先被表示,再被渲染。
JST 的核心单位叫 Physics-Native Token。官方解释是,每个 token 对应 3D 空间中的一个持久化原子,可以代表一块物质或物体的一部分;它带有 xyz 位置、属性向量和动力学向量。模型因此保留了对象在空间中的身份,以及它随时间移动、变形时的变化信息。
视频中的架构示意:输入图像经过 JST 编码器,进入 3D 空间中的持久化原子。解码器再输出图像或 3D Gaussian splats。
这套表示让“换一个角度看同一个场景”拥有了中间状态。官方页面展示的交互流程包括输入图像、编码、生成 token 和选择视角。
用户还可以加入运动或外力,最后输出图像或可在浏览器中渲染的 3D Gaussian splats。
02 一次生成之后,场景可以继续扩展。
JST-2 的场景生成页面支持从文本提示或图片开始。官方称,模型最多接收 64 个输入视角作为空间上下文;用户每增加一个视角,后续生成就可以获得更多场景信息。已经生成的场景也能从不同角度反复查看,重新生成只发生在新增内容时。
官方给出的场景生成时间约为 1 秒,测试环境是 NVIDIA B200,且不包含网络延迟。页面将这一结果与 Marble 的约 5–6 分钟生成时间并列展示。这个对比对应的是模型推理阶段,不等同于完整应用从输入到交付的总耗时。
03 角色、动作和机器人进入同一条链路。
JST-2 还把角色和动作放进同一个世界表示。官方页面展示了从单张图片生成 3D 角色、从文字生成全身动作,以及从视频重建动作的案例。
页面也展示了让角色在场景中完成动作的过程。角色生成结果带有动作动力学信息,官方称这可以省去单独的绑定和蒙皮步骤。
视频中的机器人场景:左侧画面标注为世界视图,右侧画面显示机器人视角和动作指令。
画面文字写着“让机器人拿起左侧的盒子”。
视频演示中的一个场景是:机器人站在室内人物前方,界面同时显示世界视图、机器人视角和动作提示。右侧文字要求机器人拿起左侧的盒子,画面把环境、人物、机器人和动作放在了一起。
Viggle 在视频口播中把这条路线连接到机器人训练环境。当前公开材料展示的是生成与重建能力,机器人训练效果仍需要单独的实验与部署证据。
04 官方测试给出了什么,API 又开放到哪一步。
在角色生成的盲测中,Viggle 将 JST-2 与 Meshy 7.1、Tripo H3.1 比较。官方页面显示,JST-2 在服装、纹理、身体和面部质量等项目上取得更高的偏好分数;角色动画准备度测试也覆盖关节对齐、绑定可用性、变形质量和手部绑定。页面同时提供了完整的角色 benchmark 链接,但没有在这次发布页中公开全部测试协议。
开发者入口已经出现在 Viggle API 页面。公开的 Scene Model 接口可以从文本提示或 360° 全景图生成可探索的 3D 场景。
接口返回 .spz Gaussian splat。页面给出的场景生成价格是每个提示场景 0.06 美元,后续新视角和重建任务各为 0.01 美元。API 页面还要求开发者用密钥、异步任务和轮询流程接入,签名 URL 需要自行下载和保存。
边界读者需要分开看三件事。
已发布:JST-2 的场景、角色和动作生成页面,以及 API 页面列出的相关入口。
仍需验证:机器人训练中的成功率、复杂物理交互和真实生产项目的稳定性。
JST-2 把场景、角色和动作放进同一套空间表示。对内容创作者,生成结果可以继续被观察和扩展;对开发者,API 已经把 3D 场景、角色和动作拆成了可以调用的入口。
对机器人研究,Viggle 正在把它们指向可生成的训练环境。下一步需要看的,是这些世界能否在更复杂的交互中保持结构、动作和物理关系。
SOURCES。
Viggle JST-2 官方发布页。
Viggle Models & API 官方页面。
Viggle 官方 X 帖与视频转写。