在具身智能领域，世界-动作模型（World-Action Models, WAMs）正逐渐成为连接高维未来视觉预测与机器人底层物理控制的关键范式。然而，长期困扰具身智能研究者的一个痛点在于：现存的各类模型在探索“视觉预测”与“动作生成”的交互机制时，往往同时改变了底层视频主干、多模态融合拓扑、训练目标及推理调度流程。由于变量从未被严格隔离，学界很难在受控条件下厘清不同的世界-动作交互模式究竟孰优孰劣。另一方面，传统的行为克隆（Behavior Cloning, BC）极度依赖专家成功示教，导致模型仅见过极窄的“成功状态分支”，缺乏对“如果执行替代动作会产生何种物理后果”的因果认知，使得训练出的动作接地模块在面临新环境时极难被复用。
针对上述挑战，来自斯坦福大学的研究团队推出了开源的可组合世界-动作模型框架 OpenWAM（An Open Framework for Composable World-Action Models，意为可组合的世界-动作模型开放框架）。
该框架基于开源视频生成模型 Wan2.2-5B，首先通过超过 10,000 小时的异构机器人与交互视频进行了分块因果（Chunk-Causal）预训练；接着构建了双流混合变换器架构（Mixture-of-Transformers, MoT），在同一套骨干与评测协议下，系统性支持并发联合去噪（Joint）、视频优先（Video-then-Action, VTA）、动作优先（Action-then-Video, ATV）与解耦预测（Decoupled）四种交互拓扑。
更为关键的是，研究团队显式提出了局部上下文动力学接口（Local-Context Dynamics Interfaces），并构建了大规模反事实物理转移数据集 LIBERO-Long-CF。实验表明，在仅微调新任务视频预测器的情况下，冻结的局部逆动力学模型（LC-IDM）在反事实数据加持下，跨任务迁移成功率从纯示教训练的 21.5% 跃升至 84.0%。
背景与动机：世界-动作模型的“归因困境”与“因果盲区”
变量交织的设计空间
近年涌现的系统（如 DreamZero、DVA、LingBot-VA 等）探索了利用视频大模型先验来辅助机器人决策。然而，各家系统往往同时采用了不同的视频底座、不同的时序注意力流向、不同的损失函数配比，使得“先预测视频再生成动作好，还是视频动作并发去噪好”这一核心问题始终缺乏严格的控制变量实验。
成功示教的因果覆盖局限
机器人操作中的成功演示数据本质上是“狭隘”的。从特定物理状态出发，示教数据只提供了一条通往任务成功的轨迹，完全缺少失败尝试、边界扰动与探索性分支。这种数据分布极度偏狭的弊端在于：逆动力学模型（Inverse Dynamics Model, IDM）和前向动力学模型（Forward Dynamics Model, FDM）无法建立稳固的局部状态-动作-结果（State-Action-Outcome）物理映射。一旦上游视频生成模型在适应新任务时产生微小的视觉分布漂移，底层的动作执行器便极易陷入瘫痪。
如图 1 所示，OpenWAM 通过三大协同机制化解了上述难题：
因果机器人-视频预训练（图 1 左）：在大规模无动作标签的视频上学习预测未来物理交互； 可配置的双流 MoT 结构（图 1 右上与右中）：在统一底座下支持任意跨模态交互程序； 反事实局部动力学学习与可组合复用（图 1 右下）：依靠反事实转移数据训练独立的局部动力学模块，实现上游视觉预测与下游动作翻译的热插拔与迁移。
方法详解：因果视频基座与可配置交互架构
数学形式化与因果链条分解
设 为当前时刻的视觉观测， 为控制动作， 为本体感知状态， 为语言指令。令 与 分别为历史观测与动作窗口长度，时序历史与当前状态聚合为任务上下文：
其中 ，，。对于未来时域长度 ，未来动作序列与视觉观测轨迹分别表示为 与 。
OpenWAM 将联合预测概率分布按照链式法则形式化为两种典型的分解路径：
其中 CVP 为因果视频预测，IDM 为逆动力学动作接地，VLA 为端到端视觉-语言-动作生成，FDM 为前向动力学视觉演化预测。
10k+ 小时因果视频基座预训练
为打破纯视觉扩散模型（如双向注意力的常规视频生成架构）在时序流向上的模糊性，OpenWAM 选用 Wan2.2-5B 作为起点，在约 334 万条轨迹、累计达 14,640 小时的海量异构交互数据上进行持续预训练（包括 Open X-Embodiment、AgiBot World、InternData-A1、RoboCOIN、Ego-Exo4D v2 与 UMI 系列）。
在此阶段，模型完全不接触任何机器人动作标签或任务成功信号，而是强制引入分块因果（Chunk-Causal）机制：未来的视觉潜在块（Latent Chunk）可以回看历史观测与已生成的先前潜在块，但严格禁止后向注意力泄露；块内部的 token 则保持联合去噪。这一设计赋予了底座明确的单向物理演化箭头，同时保留了局部扩散模型强大的表征质量。
双流 Mixture-of-Transformers (MoT) 架构
如图 2 所示，OpenWAM 构建了一个 30 层的双流混合变换器架构：
视频专家（Video Expert, 5B）：继承 Wan2.2-5B 预训练隐藏层维度 3072，FFN 维度 14336，24 个注意力头； 动作专家（Action Expert, 2B）：隐藏层维度 2048，FFN 维度 8192，通过线性投影对齐至 3072 维度参与跨模态交互； 时空分块对齐：视频端由 VAE 将每 4 个仿真步的时序帧压缩为 1 帧潜变量，每 4 帧未来潜变量（覆盖 16 个仿真步）与一个 16 步的动作 chunk 在时序上实现刚性时间对齐； 流匹配（Flow-Matching）训练目标：两模态共享连续流路径 ，并在加权速度场损失下联合优化：
四种交互程序的统一注意力掩码
通过在紧凑打包的视频-动作序列上动态配置自注意力掩码（图 3），OpenWAM 将四种交互范式收敛在同一计算流中：
VTA（图 3-A）：两阶段推理。Pass 1 中，未来视频 在无未来动作干扰下先行生成；Pass 2 中，动作 以生成的完整 为条件生成动作。 ATV（图 3-B）：反向两阶段。Pass 1 依靠上下文直接推演动作 ；Pass 2 前向模拟对应动作下的视频走向 。 Joint（图 3-C）：单阶段并发。未来视频与未来动作流处于全双向交叉注意力之中，同时从纯噪声中完成去噪。 Decoupled（图 3-D）：解耦去噪。两模态在未来预测区间互相不可见，各自独立演化，仅共享历史序列。
反事实局部动力学：打破示教依赖的解耦迁移
为实现模块化可组合，研究团队将动力学模型收敛为严格的局部上下文（Local-Context）接口：
局部接口显式剔除了语言指令 、过去动作 以及更久远的历史观测 ，仅要求动力学模型回答一个纯粹的局部物理命题：“给定初始位姿 ，发生转移 所需的动作是什么？”（LC-IDM），或“执行动作 引起的即刻视觉变化是什么？”（LC-FDM）。
构建反事实数据集 LIBERO-Long-CF
针对纯示教数据无法支撑局部动力学学习的问题，研究人员从 LIBERO-Long 的仿真示教状态中还原出大量初始点，并在相同起点上派生执行各类扰动动作序列（包括改变速度、运动方向偏置、随机脉冲噪声、改变夹爪开关时机等，干预类型见图 15）。
这一过程构成了包含 32,000 段序列、4,096,000 个控制步的大规模反事实数据集 LIBERO-Long-CF（图 13），总控制时长达到 56.9 小时，将局部转移监督信号较原始示教扩充了 29.7 倍。
根据物理统计（图 18），LIBERO-Long-CF 中有 90.4% 的片段包含夹爪与物体的物理接触，50.0% 检测到有效抓握，72.3% 引发了不同于原始示教的物体构型变化。这为模型提供了极佳的非成功/失败交互物理因果监督。
实验与结果：多维评测与动力学可复用性验证
评估涵盖仿真与真实机器人硬件平台：
仿真平台：LIBERO 经典基准套件（Object、Goal、Spatial、Long）以及用于迁移评测的 LIBERO-90（涵盖技能组合、操作重定向、物体抓握变化及场景布局偏移四大维度，见图 5 右侧与论文表 1）； 真机平台：双臂 Franka Research 3 机器人平台，配备 Flexiv Grav 夹爪、双腕部 RealSense D405 与主视角 Orbbec Femto Mega 相机（硬件环境见图 12），设置了包括吐司装载、二阶魔方底层还原、色彩分杯等接触丰富的高难度双臂协同任务（图 5 左侧与表 2）。
1. 原生闭环策略性能：VTA 展现出众控制力
在 LIBERO 标准基准套件评测中，OpenWAM 各变体展现出领先的闭环任务成功率：
在四个套件上，OpenWAM-VTA 均值达到了 98.6%，全面持平或超越了现存顶尖模型（如 OpenVLA-OFT 的 97.1%、 的 96.9%、Motus 的 97.7%、Fast-WAM 的 97.6% 与 LingBot-VA 的 98.5%）。在四种生成模式横向对比中，生成顺序展现出明确规律：
这表明“先规划视觉演化蓝图，再依据视觉去合成动作”在机器人长时程操作中具备更稳健的执行一致性。
2. 消融实验：基座预训练与 MoT 的关键效应
为什么 OpenWAM 能够取得如此表现？消融实验清晰地给出了答案：
因果机器人预训练的增益（图 17）：在 LIBERO-Long 任务上，保持所有下游网络架构与微调设置不变，直接使用原始 Wan2.2-5B 初始化的 VTA 成功率仅为 68.4%；而经过因果机器人视频预训练后，成功率显著提升至 97.8%（绝对提升 +29.4%）；在 Joint 模式下更是从 62.2% 攀升至 96.6%（+34.4%）。 MoT 专家架构的隔离优势（图 16）：将视频与动作合并在单一共享 DiT（Non-MoT）中时，VTA 成功率为 92.8%；改用独立的模态专家（MoT）后，成功率提升至 97.8%（+5.0%）。
3. 真机双臂操控验证
在实体双臂 Franka FR3 机器人上，面对高维度连续接触与非刚性形变任务，OpenWAM 同样表现出优异的稳定度：
在标准的演示微调条件下，OpenWAM-VTA 在吐司（92.0%）、二阶魔方（90.0%）、颜色分杯（94.4%）上取得了 92.1% 的平均闭环成功率，与 Joint 模式（91.9%）相当。
4. 冻结动力学组件迁移：反事实数据的决定性价值
最为关键的发现出现在模块化解耦迁移实验中。研究团队探索了如下范式：当环境发生变化时，我们只微调上层的轻量视频生成器，而下游负责动作落地的 IDM 模块完全保持冻结。此时，下游 IDM 是否能够实现即插即用？
如表 5 所示，结论引人深思：
纯示教训练的局限性：仅依赖专家演示数据训练的局部逆动力学模型（LC-IDM, demo-only），在迁移至新任务时平均成功率仅为 21.5%；引入全局上下文的全量模型（Full-context IDM, demo-only）也仅有 44.5%（在任务 21 与 45 上直接降至 0%）； 反事实数据的跃升：当引入反事实转移数据后，仅保留局部上下文的 LC-IDM（CF-only） 跨任务迁移均值大幅提升至 84.5%；采用 60% 反事实与 40% 示教的混合监督方案（LC-IDM, mixed）同样高达 84.0%，并在源任务上保持了 94.4% 的高执行率。
这一对比揭示了一个深刻的物理规律：全上下文模型在示教中容易隐式记住语言与历史线索，形成了脆弱的相关性依赖；而局部上下文模型在反事实数据的补充下，真正学会了纯粹的“像素运动到末端机械位移”的物理逆映射。
5. 前向动力学（FDM）动作辨识度评测
在反事实前向动力学评估中（表 7），模型需要在相同初始状态下针对 16 种不同的分支动作预测视觉结局。
纯示教训练的模型由于从未见过替代动作，其多动作结局辨识准确率（）仅有 21.1%；而反事实监督训练的 LC-FDM（CF-only）将预测图像的 RGB MSE 降低了 34.5%，并将 16 候选动作辨识率推高至 71.3%（两候选 辨识率达到 93.6%）。模型切实具备了预见不同动作所引发物理差异的能力。
开源实践指引
OpenWAM 项目已全面开源，提供了完整的预训练权重、下游微调管道以及反事实生成代码：
算力配置与运行开销：因果机器人-视频预训练阶段在 32 张 NVIDIA B200 GPU 上进行了为期 14 天的自监督优化；下游策略针对特定环境的微调则轻量得多，在常规单机多卡集群上，以 batch size 为 10（单卡 batch 1，梯度累积 10 步）、bf16 精度迭代 10,000 步即可收敛。 接口规范：下游调用时，视频生成器与 LC-IDM 之间完全依赖标准 VAE 潜在表示（Latent Canvas）进行数据流转，解除了对内部注意力 KV Cache 的强依赖，极大地降低了异构模型跨模块组合的技术门槛。
写在最后
OpenWAM 不仅刷新了世界-动作模型在复杂长时程操作与双臂任务中的性能基准，更重要的是，它为领域厘清了此前扑朔迷离的系统级设计权衡。实验给出了清晰的启示：其一，通用视频大模型唯有经历严谨的时序分块因果与机器人物理预训练，才能转变为可靠的具身基座；其二，试图让单一端到端策略学会泛化往往面临因果歧义，将“任务级高层视觉预见”与“底层的局部物理动力学执行”彻底解耦，并借助大范围的反事实物理探索消除分布漂移，为构建高复用性、可插拔的具身动力学组件提供了坚实的技术路径。
论文标题: OpenWAM: An Open Framework for Composable World-Action Models 论文机构: 斯坦福大学 论文地址: https://arxiv.org/abs/2610.07922 项目主页: https://openwam.stanford.edu 代码仓库: https://github.com/OpenWAM/OpenWAM (开源)