APPSO公众号文章

从一句话到一个能玩的世界，VAST 把整条链路开源了

规则归交互系统，画面归模型

科技与互联网
APPSO

公众号 · 148 篇文章

查看主页 →
在游戏里，如果你走到一扇门前，不确定能不能进去，通常的做法是先转身往回走两步，再跳两下，看看能不能翻过旁边的墙。
这些都是游戏里再普通不过的操作，可是想象一下，如果眼前的画面由 AI 生成，模型就得跟上玩家的每一次临时起意——突然停下，又突然转身，又突然跑跳。这期间，每一帧都得稳定在线。
这就是 VAST 刚刚开源的实时世界模型 EdenLive 所能做到的。它是 Project Eden 系列中的实时生成式渲染器，游戏、动画预览等可交互内容的规则和状态仍由上游交互系统维护，白模、2D/3D 场景，或真实录像，都能作为生成画面的参考。
你让角色往前走，或者把镜头转向身后，交互系统将更新后的状态转化为灰盒画面与场景描述，输入 EdenLive，由模型实时渲染出对应的视觉效果让你一边玩，一边看到 AI 实时生成的世界。
参考不必是一套已经做完美术的游戏——任何视觉素材都可以。一个粗糙的 3D 白模、一段 2D 场景，甚至一段已有录像，都可以提供结构和运动。同一段参考，换一张首帧、一句提示词，就能得到写实、手绘线稿、卡通、像素或油画等完全不同的外观。
图片
拿任意视觉参考，边交互边生成画面
EdenLive 堪称是全能，可以跟着玩家的操作持续生成游戏画面，也可以保留一段视频的运动轨迹和镜头、把人物与环境换成另一种风格；到了具身场景，第一人称的人手操作视频还能改写成机械臂视角的版本。
为了做到这一点，EdenLive 实现的是一种「分工合作」：参考画面决定结构、运动和镜头，生成模型负责重写这些内容最终「看起来是什么」。EdenLive 的三类输入分工明确：参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间；目标首帧确定主体、材质、配色和画风；文本提示词补充风格和细节，交互中还能在事件发生时追加一句描述。这最终让生成式渲染从离线的视频生成，进入长时游戏交互、视频画风转换、具身数据增强等不同的场景。
图片
在交互持续进行所需的长时生成能力上，EdenLive 取得了不错的突破。基于 Gemini-3.8-Flash 对 45 个长时案例的两两盲评（每组交换顺序各评一次，再按维度计算 Elo 分数），在参考遵循、首帧一致性、物理合理性、画质和避免外观泄漏五个维度上，EdenLive 14B 和 5B 全部排在第一和第二。以参考遵循为例，14B 得分 1704，比 AgentGarten 高出约 200 分。
图片
更强悍的是 EdenLive 对于实时的跟随能力。离线视频生成模型要先拿到完整输入，再整段生成，接不进实时交互，EdenLive 却能够追着不断变化的参考画面往前走。按照团队披露，EdenLive 5B 在单张消费级显卡 RTX 5090 上能以超过 24 FPS 生成 720P 画面，并支持分钟级连续生成。
这对游戏制作来说尤其有意义，玩家按下攻击键之后，最先工作的并不是 EdenLive。武器有没有击中对手、血量应该减少多少、角色又移动到了哪里，都会先由上游交互系统作出判断，并更新到游戏状态里。
图片
在场景和动画预览中，参考可以是白模场景、美术做的粗动画，或由精细模型渲染出的法线图视频。参考不变，只换首帧和提示词，就能在同一个场景、同一段动画上比较不同的材质、光照和配色。镜头离开一处再转回来，参考里的结构还在原处，EdenLive 按同样的结构继续渲染，不必从过去的画面里重新推测。
图片
在游戏里这种连续和一致性，还需要与玩家的操作协同。比如在进入升降装置之后，随着装置下降，整个围栏和网格不能走形，但外面的环境却需要缓缓变化。

面向游戏开发，VAST 同步开源了 EdenGolem（v0.1），一款给编程智能体使用的 skill。只要输入一段玩法描述，智能体便会分四个阶段，依次完成玩法设计、场景搭建、交互逻辑实现与界面完善，生成可独立运行的 3D 灰盒游戏。目前，EdenGolem 已支持解谜、射击、驾驶、冒险、竞技场、格斗等多种游戏类型。

除了根据简单素材生成，EdenLive 也能够理解现实素材，并实现转换。像「闪身步」是真人教学，在保留构图和运镜的同时，人物、画面和笔触都动画化。模型沿着原视频的动作和空间关系，重新生成每一帧，同时不照搬原视频的质感。
图片
还有一个容易被忽略的用途：具身数据增强。
图片
机器人训练中，并不缺「人类怎样擦桌子」的知识，缺乏的是「从机器人的眼睛看出去，机械手怎样靠近物体、抓住物体并完成动作」的训练素材。
获得类似视角倒也不难，找一个人戴着头戴相机，擦桌子、开抽屉、倒水，一天可以拍很多段。但真人录像里出现的是人的手臂和五指，机器人部署时看到的却是机械臂和夹爪，两者的外形、运动范围和遮挡方式都不同。模型如果主要用真人视频训练，到了机器人摄像头里，可能会遇到明显的视觉分布差异。
图片
通过 EdenLive 把真人的手替换成机械手，从而把素材转换成更接近机器人实际工作时会看到的数据画面。例如，人拿起水壶的动作、水壶与桌面的相对位置、第一人称镜头的移动都保留，只把执行者改成机械手，可以帮助模型适应「机器人看到的画面」。
不同的参考素材类型有不同的效果，自身也有不同的限制， 现成录像只能提供镜头和动作，经过重渲染以后仍然是一段视频，可玩性来自上游代码。但 EdenLive 背后有一套分工与规则，因此生成结果可以随操作继续变化。

世界模型需要解耦状态与渲染

看这些演示，很容易以为玩家正在直接操纵一个视频模型。实际上，EdenLive 并不判断游戏里发生了什么，也不负责让这个世界运转。在今年 5月发布的Project Eden 中，VAST 将世界模型研究分为三层架构：持续演化的世界状态，记录物体位置与属性、交互规则和动作的后果；状态到画面的接口，把当前状态转换成某个视角下的布局、几何与事件约束；生成式渲染器，根据这些约束生成高保真画面。EdenLive 实现后两层，不限定第一层。
以格斗游戏为例，玩家按下攻击键，指令仍然先进入上游交互系统。它判断这一脚有没有踢中对手、应该扣掉多少血量，随后更新两名角色的状态和血条。
图片
视频模型擅长生成看起来合理的画面，却无法独自维护血量、碰撞、物体身份和胜负条件等规则，因此 EdenLive 把确定性状态留给上游交互系统，把视觉呈现交给生成模型。
交互系统会把每次变化渲染成新的灰盒画面，一个专门微调的视觉编码器从中提取布局、镜头和动作；它不需要精细的皮肤、衣服和光影，只要把空间布局、运动轨迹，以及镜头怎样移动交代清楚。
图片
「规则归交互系统，画面归模型」，这套分工解决了视频模型不擅长长期保存规则的问题，保证视觉元素的稳定呈现。当然，这套分工仍要经过更长时间、更复杂交互的检验。
世界模型不缺演示，缺的是用法
2026 年 1 月牛津学者的综述把「视觉混淆」列为世界模型要解决的挑战：画面逼真不代表模型理解了因果和物理规律，并主张世界模型从生成画面的视觉引擎，转向能够表示动态与约束的可操作模拟器。
在这条路线尚未成为世界模型的主流叙事时，今年 5 月 VAST 发布的 Project Eden 已经把交互系统维护世界状态、生成模型负责视觉呈现写进完整架构；几个月后，EdenLive 又把其中的生成式渲染推进到实时、连续运行。
图片
在市场上，类似方案到 8、9 月才开始密集出现。
此次开源包括 5B、14B 模型权重（各含双向生成与少步流式生成两个版本）、实时流式推理代码、EdenGolem v0.1 和前端工作台，同时公开技术报告。开发者可以接入自己的参考来源，测量延迟、稳定性与参考遵循程度。
伴随 EdenLive 一同发布的，还有面向全球青年算法与研究人才的 V·STAR 顶尖人才计划。招募方向覆盖 3D 生成模型、3D 理解与 Agentic AI、世界模型三个方向。无论是全职还是实习生，V·STAR 将有机会直接参与核心项目，并拿到比头部大厂更具竞争力的薪资，特别优秀者上不封顶，还有长期期权。
图片
过去的世界模型演示，往往用一段视频证明模型能够想象一个世界。EdenLive 则往前走了重要的一步。而当更多人把自己的代码、场景和参考画面接进来，技术也将逐渐发展为真正可用的创作工作流，世界将迎来更多可能性。

详细项目信息可前往👇：

主页：https://vast-eden.ai/?p=edenlive

代码：https://github.com/VAST-AI-Research/EdenLive

模型权重：https://huggingface.co/VAST-AI/EdenLive

技术报告：https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

Unbound Loop：http://loop.unbound.io

前往微信阅读全文

内容来自公众号，可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →