OpenWAM从两个阶段训练，从一个预训练的通用视频模型wan2.2开始，通过无动作标签的因果关系机器人视频训练来适配机器人物理运动交互，随后在仿真和真实机器人演示上进行视频‐动作训练，然后通过MoT引入一个动作分支，通过修改注意力掩码和生成顺序来切换VTA、ATV、Joint、Decoupled四种模式。

视频通过VAE编码为视觉token传递给参数规模为5B的视频专家，文本指令通过T5编码为文本token，历史动作通过线性投影层编码为动作token传递给参数规模为2B的动作专家（动作专家架构结构和视频专家保持同构，但隐维度缩小至2B，从Wan2.2视频主干的结构设计继承而来，不是直接裁剪权重），将动作和视频token按时间序列对齐，打包进入共享联合注意力完成跨模态交互，作为MoT的历史条件。

未来的噪声token（直接采样高斯噪声得到），两个分支各自经过归一化、自注意力、文本注意力读取任务指令，每层进入联合注意力模块，完成视频与动作模态之间的跨模态特征交互；经过30层MoT模块（多少层）堆叠后，输出未来视频潜变量和未来动作序列，再通过ODE去噪得到最终预测结果，视频latent再经过VAE解码器还原为未来图像，动作反归一化得到机器人动作。

通过修改联合注意力模块内的注意力掩码，控制未来视频和未来动作token之间能否互相访问生成的四种交互范式如图3，VTA：在不依赖未来动作的情况下，根据历史视频生成未来视频，然后基于生成的视频轨迹生成动作轨迹；ATV：根据历史视频生成未来动作轨迹，再以生成好的动作作为条件去预测未来视频。然后基于生成的动作轨迹对未来视频预测；Joint：视频和动作轨迹同时进行去噪处理，而且在生成过程中，可以关注对方不断变化的预测，允许在任一轨迹完成前实现双向交互；Decoupled：视频和动作轨迹同时生成，视频和动作仍然可以使用观察到的历史记录和任务指令，但是它们未来的预测之间没有跨模态交互。

（针对传统WAM的痛点就是耦合：视觉想象、动力学、动作生成全部在同一个模型。换到新任务，必须全部重新训练，无法复用物理常识）使用专家演示+反事实样本（学习因果物理，而不是记住成功演示模板），并且去掉语言指令，只保留局部上下文（防止IDM学到任务目标，只学习物理动力学），独立地训练IDM逆向模型和FDM前向模型。逆向模型根据当前观测和未来视觉轨迹预测动作，而前向模型根据提供的动作预测未来视频。迁移到新任务时，视频想象模块微调，LC-IDM/LC-FDM权重冻结，实现插拔复用。