别急着比 VLA 和 WAM：JAM 把三个被捆住的选择拆开了

文章目录

- 三十秒速览：三个选择、六个数字
- - 三个选择
  - 六个数字
  - 一句话结论
- 争论为什么算不清：三个选择被捆在一起
- - VLA 与 WAM 的差别不止一处
  - 第三个选择常被忽略：训练期与推理期是两级开关
  - 所以成功率差不能归因
  - 拆开之后能问出什么
- JAM 的做法：把未来压成目标，不进动作通路
- - 数据与部署接口
  - 前瞻损失长什么样
  - 预测头与目标空间
  - 换 backbone 到底要改什么
- 前瞻损失提供了什么：它为什么不等于视频生成
- - 目标不是重建像素，而是让未来可读出
  - 偏移量比目标函数更值钱
  - 探针证据：未来变化能不能从当前特征读出来
- 实验第一层：固定架构，只换目标函数
- - 这张表怎么读
  - Wan 上：换损失只是打平，换目标空间才挣钱
  - Ovis-U1 上：换损失本身就是大头
  - 消融：冻结锚点、60% 深度、0.6 权重、transformer 头
  - 配对 rollout
- 实验第二层：把配方搬到别的 backbone 家族
- - 初始化到底哪个重要
  - 四个 backbone 的横向比较
  - 共享权重也行
  - 注意力去哪里了
- 实验第三层：与配对的 FastWAM / ImageWAM 对照
- - LIBERO
  - LIBERO-Plus
  - RoboTwin 2.0
  - 统计与重复
  - 定性证据
- 代价：算力、显存、实现复杂度
- - FLOPs 与 GPU 时间
  - 显存与训练期参数
  - 实现复杂度的真实来源
- 局限与失效场景
- - 论文自己承认的三条
  - 我读出来的五条风险
  - 什么情况下别用
- 落地判断：什么团队值得试，什么团队别碰
- - 值得试的三类团队
  - 别碰的四类情形
  - 最小可行验证路径
  - 术语速查表

过去一年，机器人策略的论文里出现了两条互相看不上的路线。一条是 VLA：拿视觉语言模型当底座，往上面接一个动作专家，学的是“看到这个画面、听到这句话，该输出哪一段动作”。另一条是 WAM：从图像或视频生成器出发，除了动作，还让模型学会生成动作之后应该出现的那些画面。论文点名了各自的代表：VLA 侧是 OpenVLA 与 π0、π0.5，WAM 侧是 Motus、LingBot-VA、FastWAM 与 ImageWAM。两边都在同一批仿真基准上刷成功率，读者很容易顺着排行榜得出“哪条路线更好”的结论。

《Vision-Language-Action or World-Action? Just Action Models》这篇论文对这个问题的回答不太一样：这个争论之所以算不清，是因为它把三件可以各自独立打勾的事情捆成了一件。这三件事分别是：backbone 用什么预训练权重初始化；对轨迹里记录下来的未来观测施加什么目标函数；以及推理时是否保留那套产生未来损失的机制。只要三者不拆开，一个 VLA 比一个 WAM 高出的那几个百分点，就没办法归因到其中任何一项上。

作者提出的做法叫 JAM（Just Action Model）。它没有引入新的生成模型，也没有改动作头：一个预训练视觉 backbone 加一个动作专家，训练时用动作损失加一项前瞻损失。前瞻损失让当前观测的特征去预测一个冻结编码器对记录未来的编码，预测头训完就丢，训练和推理都不生成任何画面。换句话说，它保留“从未来学”这件事，删掉“把未来画出来”这件事。

结论先摆出来：在架构、数据、优化器、训练预算与部署路径全部固定的配对条件下，JAM 在 LIBERO 上取得 98.15% 对 FastWAM 的 97.00%、96.75% 对 ImageWAM 的 92.90%；在 LIBERO-Plus 上从 55.31% 提到 64.54%、从 65.27% 提到 79.95%；在 RoboTwin 2.0 上与配对基线持平或略高。缓存前瞻目标时，估计的在线训练 FLOPs 下降 73.0%（Wan）与 36.8%（Ovis-U1）。下面把三个选择、这项损失、三层实验和代价逐层拆开。

三十秒速览：三个选择、六个数字

三个选择

选择一，backbone 初始化。视觉语言模型给你的是语言与物体的对应关系，视觉生成器给你的是“世界接下来会长什么样”的先验，这是两条完全不同的预训练来源。
选择二，作用在未来观测上的目标。WAM 用的是视觉生成损失，要求模型能去噪或渲染出未来画面；JAM 用的是表示层面的前瞻损失，只要求当前特征能读出未来编码。前者要一个解码器，后者不要。
选择三，推理时保留什么。FastWAM 与 ImageWAM 已经去掉了测试期的未来生成，只留动作通路；JAM 把训练期的生成也去掉，于是部署出来的模型就是一个 backbone 加一个动作专家。

六个数字

95.25% 到 97.00%：FastWAM 从完全没有未来监督到加上视觉生成损失，在 LIBERO 上的变化；同一对比在 LIBERO-Plus 上是 45.55% 到 55.31%。未来监督本身有用，这是本文的起点。
55.31% 到 55.58%：Wan 上把视频去噪损失换成“预训练 Wan 编码器特征”这一前瞻目标之后的 LIBERO-Plus 成功率，几乎打平。
55.31% 到 64.54%：同一套架构改用冻结 VAE 的原始潜变量块当目标之后的 LIBERO-Plus 成功率。这一步才是那 9.2 点的主要来源。
65.27% 到 79.95%：Ovis-U1 上把生成损失换成前瞻损失（目标为预训练 Yak 编码器第 16 步的特征）之后的变化。这里换目标函数本身就是大头。
81.14%：JAM（Qwen3.5-2B）在 LIBERO-Plus 上的成功率，是全文最高的一个；它在 LIBERO 上达到 96.55%，比 π0.5 的 96.9% 低 0.35 点。
73.0% 与 36.8%：带缓存目标时，相对 FastWAM 与 ImageWAM（Ovis-U1）的在线训练 FLOPs 降幅；实测 GPU 时间是 67.3% 与 37.8%。

一句话结论

论文真正被数据支持的是两句话：前瞻损失可以在不生成画面的前提下替代视觉生成损失；同一套配方能跨生成式、自监督、视觉语言三类 backbone 使用。它没有支持“视觉语言 backbone 比生成式 backbone 更好”这个更强的说法，论文自己在跨 backbone 那张表的标题里写明，架构与动作接口上的差异妨碍了隔离预训练本身的影响。这个自我限定很重要。

图 1 图 1｜三个选择的并排对照：VLA 只有动作损失，WAM 多一项视觉生成损失，JAM 换成前瞻损失并把监督分支留在训练期（原文 Figure 1）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

争论为什么算不清：三个选择被捆在一起

VLA 与 WAM 的差别不止一处

论文先把三类做法摆到同一张纸上。它们用的是同一份数据、同一个部署接口：一个训练样本包含当前观测 f0、机器人状态 s0、指令 c、动作块 a1:H，以及记录下来的未来观测 f1:T；部署时策略只从 f0、s0、c 预测 a1:H。真正的差别只有两处：用哪个预训练模型初始化 backbone，以及对记录的未来 f1:T 放什么损失。

VLA 参考式只保留动作损失，记录的未来完全不被使用，预训练权重只通过策略初始化起作用。WAM 参考式在动作损失之外加一项视觉生成损失 LG，于是这套配方就和生成器绑在一起：训练期需要一个解码器或去噪通路，部分 WAM 在推理期也保留。JAM 把第二项换成了前瞻损失 LF。

\\mathcal{L}_{\\mathrm{WAM}} = \\mathcal{L}_{\\mathrm{act}} + \\lambda_{G}\\,\\mathcal{L}_{G}

$L_{WAM} = L_{act} + λ_{G} L_{G}$

上面这行里 Lact 是监督动作块的流匹配损失，LG 是视觉生成损失，λG 是它的权重。读这个式子时要注意一点：损失左边写着 WAM，但它并不强制你保留一个生成器。真正把配方和生成器绑住的，是 LG 这一项要求模型能画出画面这件事。

第三个选择常被忽略：训练期与推理期是两级开关

争论里最容易被混淆的，是“要不要生成未来”其实有两级。一级在推理期：模型部署后是否先想象未来画面、再据此选动作。部分 WAM 会这样做，图 1 (b) 里那条虚线回路画的就是生成的未来观测重新进入动作专家。另一级在训练期：损失函数里是否要求模型重建或去噪未来观测。

值得注意的是，FastWAM 与 ImageWAM 已经把第一级关掉了，它们的推理路径里没有未来生成。JAM 关掉的是第二级，也就是训练期那一次生成。论文原话是这么说的：这本来就是配对基线已经采用的推理流程，区别只在于 JAM 把视觉生成在训练期也一并避免掉了。所以“世界模型要不要在推理时想象”这个问题，本文并不是在重新回答它。

所以成功率差不能归因

把三个选择摊成一张表就能看出，“VLA 和 WAM 谁更强”这个问法漏掉了多少东西：同一个部署形态下至少有四种组合，差异可以来自任何一格。

选择VLA 参考WAM 参考JAM

backbone 初始化	视觉语言模型	视频或图像生成器	任意预训练视觉模型
训练期对未来观测的目标	无	视觉生成损失 LG	前瞻损失 LF
训练期需要解码器或去噪	否	是	否
推理期是否跑未来生成	否	多数是，但 FastWAM 与 ImageWAM 已经改成否	否
部署形态	backbone 加动作专家	生成器加动作专家	backbone 加动作专家

拆开之后能问出什么

拆开的好处是问题变得可以回答。固定架构只换目标函数，涨不涨？固定目标函数只换目标空间（拿谁的特征当目标），涨不涨？固定配方只换 backbone 家族，涨不涨？这篇论文的实验正好按这个顺序排了三层：先在 FastWAM 与 ImageWAM 两套固定架构里把生成换成前瞻，再把同一配方搬到生成式、自监督、视觉语言三类 backbone 上，最后与配对的 FastWAM、ImageWAM 逐基准对照。这三层分别对应“目标函数”“目标空间”“初始化”三个选择的单独考察。

这也是“几乎打平”这个结果有解释力的原因：只改一项，增益与损失才分得清。

JAM 的做法：把未来压成目标，不进动作通路

数据与部署接口

JAM 的输入输出和基线完全一致，这一点值得先确认，因为后面所有对比都建立在这上面。训练样本里的未来观测只有一个用途：提供前瞻损失的目标。论文的界定很硬：未来的观测只为前瞻损失提供目标，从不作为动作路径的输入。动作专家看到的始终只有当前观测的视觉上下文、指令、机器人状态和加噪后的动作块。

部署侧形态没有变：backbone 编码一次当前上下文，动作专家在这份上下文上跑完流匹配的若干步；前瞻分支与锚点分支在训练结束后丢弃，推理时不提取目标，也不预测未来。

前瞻损失长什么样

设视觉 backbone 在第 ℓ 个 block 处的当前观测 token 为 h(ℓ)，形状是 N 个空间 token 乘 D 维。冻结的未来锚点 Eφ 处理记录的未来 f1:T，输出在读出偏移 k 处的特征 gk。这里的 k 是锚点时间序列上的位置编号：k=0 是当前观测，k≥1 是记录的未来。可训练的预测头 p 把 h(ℓ) 映射到目标空间，对每个偏移给出一个预测 ĝk。前瞻损失是余弦距离，在 token 与偏移上取平均。

∣

∑

∈

[

−

cos

⁡

(

[

]

)

]

\\mathcal{L}_{F} = \\frac{1}{|K|}\\sum_{k\\in K}\\mathbb{E}_{n}\\left[1-\\cos\\left(\\hat{g}_{k,n},\\ \\mathrm{sg}[g_{k,n}]\\right)\\right]

$L_{F} = \frac{1}{∣ K ∣} k \in K \sum E_{n} [1 - cos (\overset{g}{^}_{k, n}, sg [g_{k, n}])]$

式子里 K 是被监督的读出偏移集合，n 是空间 token 的下标，sg 表示停止梯度。停止梯度这一步是整套设计的关键：目标一侧的锚点不接收梯度，只有预测头与策略 backbone 接收梯度。于是记录的未来只在特征层面监督当前观测，而不会通过梯度把“未来画面该长什么样”的要求压到动作通路上。梯度能到 backbone，意味着动作专家读到的那些特征确实被未来监督改过，这正是本文想说清的那件事。

\\mathcal{L}_{\\mathrm{JAM}} = \\mathcal{L}_{\\mathrm{act}} + \\lambda_{F}\\,\\mathcal{L}_{F}

$L_{JAM} = L_{act} + λ_{F} L_{F}$

整份损失就是把生成项换成前瞻项，λF 是前瞻损失的总权重，在 FastWAM 配方里取 0.6，其他策略取 0.3，权重在各读出偏移之间均分，所以增加偏移个数不会让总权重变大。这个细节后面会看到，它让偏移数量的消融变得干净。

预测头与目标空间

预测头本身很小，结构是：一个学出来的 D 到 d 的输入投影，两个共享的 pre-LayerNorm transformer block，以及每个目标偏移一个 d 到 Dg 的线性读出。token 数量与空间顺序都保持不变，所以预测与目标可以逐 token 对齐。各 backbone 的维度在论文附录里给了表：以 JAM (Wan) 为例，输入与目标是 3072 维，trunk 宽 1536，24 个头，FFN 6144，两个读出，参数量 71M；JAM (Ovis-U1) 是 1536 维输入、768 的 trunk、12 个头、一个读出，16.5M。

目标空间是可以换的，这一点对理解后面的收益来源很关键。一种做法是用预训练 backbone 当锚点，取它在未来时间位置上的特征；另一种更省的做法是直接复用策略自己的冻结 VAE tokenizer，把 VAE 潜变量块升维后当目标。以 Wan 为例，VAE 直连的做法把每个 2×2×48 的 patch 从 192 维按固定坐标重复与缩放升到 3072 维，这个映射保范数、因此也保余弦相似度，既不需要目标侧 transformer，也不需要文本条件。它把锚点参数量降到 0，只复用策略本来就要加载的那个冻结 VAE。

还有一点实现上的约定：只要目标的预处理与条件固定，目标就可以离线算一次然后缓存。这是后面算力对比里那个 73% 的前提，但缓存本身也带来约束，锚点、预处理、时间索引与条件任何一个改动都会让缓存失效。

换 backbone 到底要改什么

论文给了六个 backbone 的实例化，把“同一套配方”具体到每一层监督在哪、偏移取哪几个。这张表也能反过来告诉你，想把 JAM 搬到自己选的主干上需要调什么。

backbone家族监督层与偏移目标侧读什么

Wan2.2-5B（30 blocks）	视频生成	block 18/30，[1,2]	0 到 32 步、每 4 步一帧的窗口
Yak18（Ovis-U1）	图像编辑	layer 11/18，[1]	当前帧加 16 步后的一帧
FLUX.2 Klein 4B	图像生成	layer 15/25，[1]	当前帧加 16 步后的一帧
Qwen3.5-2B	视觉语言	layer 13/24，[1]	因果图文前缀加 16 步后的视图
DINOv2-B	自监督	最后一层 12/12，[1]	16 步后的一帧
DINOv2-L	自监督	最后一层 24/24，[1]	16 步后的一帧

能看出一条不算严格的规律：用 backbone 当锚点时，监督层大致取在 60% 深度（Wan 的 18/30、Yak 的 11/18、Qwen3.5 的 13/24），DINOv2 是例外，取最后一层。监督在哪一层、偏移取几个，都是要重新调的，没有一套跨主干通用的常数。这是“配方通用”这句话的实际成本。

仅示意（按论文 3.2 节整理，非原文伪代码）
输入：f0、s0、c、a[1:H]、未来 f[1:T]
冻结：锚点 E_phi、输入编码器、文本编码器
1 h = Backbone(f0, c) # 取 block L
2 g[k] = E_phi(f[1:T])[k] # 可缓存
3 g_hat[k] = Head(h) # 每偏移一读出
4 L_F = mean_k mean_n
(1 – cos(g_hat, sg(g)))
5 L_act = flow_match(ActionExpert(h))
6 loss = L_act + lambda_F * L_F
部署：只留 Backbone 与动作专家

图 2 图 2｜训练与部署两张图：记录的未来只进入虚线框里的锚点分支，部署时虚线框与预测头一起丢掉（原文 Figure 2）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

前瞻损失提供了什么：它为什么不等于视频生成

目标不是重建像素，而是让未来可读出

两个损失都能让模型“用上未来”，但要求的能力不一样。视觉生成损失要求 backbone 具备渲染未来画面的能力，训练时得挂着那套解码或去噪机制，开销里也包含编码未来窗口的成本。前瞻损失只要求当前特征里含有足够的信息，能把未来位置的编码线性地预测出来，判据是特征空间里的余弦距离。它不问“画得像不像”，只问“读得出来吗”。

这个差别带来两个直接后果。第一个是省：目标可以离线算、可以缓存，在线那一路只处理当前帧。第二个是主干可以随便换：因为损失不接触像素，锚点是生成式 DiT、自监督编码器还是视觉语言模型都不影响方法成立。论文在相关工作里也把它和 JEPA 一类联合嵌入方法区分开了：本文的锚点是冻结的预训练模型，不是训练时用 EMA 更新的同构编码器。附录里的 EMA 实验正好从反面印证这一点，用 EMA 锚点在 LIBERO 上只到 96.40%，低于冻结预训练锚点的 97.45%。

还有一层容易漏掉的解读：前瞻损失只保证特征里含有未来信息，不保证动作专家真的用上了。本文的注意力可视化与探针分析，都是在补这后一步的证据。

偏移量比目标函数更值钱

在 Wan 上，把监督位置从当前位 [0] 换到未来位 [1,2]，LIBERO-Plus 从 44.62% 升到 55.58%，再把当前位加回去变成 [0,1,2]，反而降到 54.18%。Ovis-U1 上同样的趋势：[0] 是 69.65%，[1] 是 79.95%，[0,1] 是 72.58%。两个家族上，只监督未来位都比把当前位置一起监督更好。

论文给了一个解释：Wan 的当前位特征 [0] 可能通过双向注意力已经隐含了未来上下文，所以再监督它并不能提供额外信息，反而会稀释未来位上的信号。这个解释与 Wan 的架构相符，但它仍是一个解释而非证明；Ovis-U1 上 [0] 与 [1] 差 10.3 点，作者没有给出同等的机制说明。

对读者更实用的结论是：如果你的目标是短期内提升幅度最大，先调偏移与目标空间，别急着调损失权重。本文最大的两笔收益，一笔来自把目标从生成器中间层换成 VAE 潜变量，一笔来自把监督位置挪到未来位，都不是“换损失函数”这件事本身。

探针证据：未来变化能不能从当前特征读出来

为了看特征里到底有没有未来信息，作者在每个冻结的 Ovis-U1 策略上装了两个逐 token 的两层 MLP 探针，分别重建当前帧与 16 步后的一帧，训练与评估的回合不重叠；两个重建的带符号亮度差，就是图 3 里那几张变化图。结果显示，用偏移 [1] 训练出来的 JAM 特征能更清楚地解码出未来变化，而 ImageWAM 与用偏移 [0] 训练的 JAM 都更模糊。

数字上更克制一些。图 4 的平均未来帧 PSNR 是：当前帧直接当预测的基线 16.13 dB，ImageWAM 19.43 dB，JAM [0] 19.29 dB，JAM [1] 19.57 dB。JAM [1] 比 ImageWAM 高 0.14 dB，比同门的 [0] 高 0.28 dB。论文的措辞是“略高于”，我读下来也认为这是方向性证据：它支持“未来监督让未来信息更容易从当前特征里读出”这个说法，但 0.14 dB 的差距不足以支撑更强的机制断言。

图 3 图 3｜同一观测上解出的未来变化：最右两列是 JAM 用偏移 [1] 训练的特征，与记录的变化最接近（原文 Figure 4）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

图 4 图 4｜四个策略的平均未来帧 PSNR：JAM 偏移 [1] 是 19.57 dB，ImageWAM 19.43 dB，直接拿当前帧当预测只有 16.13 dB（原文 Figure 9）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

实验第一层：固定架构，只换目标函数

这张表怎么读

第一层实验的做法是：在 FastWAM 与 ImageWAM 两套策略里，把视觉生成损失换成前瞻损失，同时保持架构、数据、优化器、训练预算与部署路径不变。被改动的只有目标函数、目标来源与读出偏移三样。数据侧，LIBERO 用 40 个任务每任务 50 次 rollout，报四个套件与平均值；LIBERO-Plus 按 ImageWAM 的 15% 子集协议，每个套件按固定种子抽一份清单，一共 1,506 个扰动任务，每个任务只跑一次，所有本地策略共用这份清单。

Wan 上：换损失只是打平，换目标空间才挣钱

FastWAM 那几行的结果值得逐行读。完全不监督未来时是 95.25% 与 45.55%；加上视觉生成损失之后是 97.00% 与 55.31%，这说明未来监督本身值大约 1.75 与 9.76 个百分点。把生成损失换成前瞻、目标用预训练 Wan 的特征、偏移取 [1,2]，得到 97.45% 与 55.58%，相对生成损失只多了 0.45 与 0.27 点。换句话说，在 Wan 这套架构上，“不生成画面”这一步基本是打平，没赚。

真正的跳变出现在换目标空间那一行：用冻结 VAE 的原始潜变量块当目标，LIBERO 到 98.15%、LIBERO-Plus 到 64.54%，相对 FastWAM 是 +1.15 与 +9.23 点，也是全部本地策略里 LIBERO 最高的一个。对照行里，用随机初始化 Wan 当锚点还能到 97.65% 与 58.63%，比预训练锚点更高，说明锚点的预训练权重并不是必要条件。

这组数字的组合有一个容易被摘要带偏的读法。摘要说 JAM 超过配对的 FastWAM 与 ImageWAM，这句话没错，但如果把 9.2 点的增益整体归给“用前瞻替代生成”，就与表里第二行的 0.27 点冲突了。准确的说法是：在 Wan 上，替代本身几乎无损，而换成更“原材料”的目标空间才带来主要增益。这个区分对要复现的人是决定性的，因为它意味着你不一定需要那个 5B 的视频模型当锚点，但你需要一个能提供细粒度潜变量的目标空间。

Ovis-U1 上：换损失本身就是大头

ImageWAM 那几行的形状不一样。不监督未来时是 90.20% 与 61.35%；加上生成损失是 92.90% 与 65.27%；换成前瞻、目标用预训练 Yak、偏移 [1]，直接到 96.75% 与 79.95%。相对生成损失是 +3.85 与 +14.7 点，后者是全文最大的单笔配对增益。这里“换目标函数”本身就是大头，与 Wan 上打平的情形形成对照。

目标空间的偏好在两个架构上正好相反。Ovis-U1 上预训练 Yak 锚点（79.95%）优于 VAE 直连（76.43%），VAE 直连又优于随机 Yak（72.51%）；而 Wan 上是 VAE 直连（64.54%）优于预训练 Wan（55.58%）。作者给的解释是两者目标表示里已有的时间信息不同：Wan 编码的是覆盖 32 步动作块的跨步窗口，它的 VAE 潜变量本身就带着场景怎么变；Yak 只编码 16 步的端点，预训练层负责把这个端点与当前观测、指令关联起来。所以“最好的目标”是架构相关的，没有全局最优。

消融：冻结锚点、60% 深度、0.6 权重、transformer 头

这一组消融都在 Wan 上做，结论相当一致地指向“中间值最好”。未来锚点用冻结预训练权重时 LIBERO 是 97.45%，换成训练中 EMA 更新的策略副本只有 96.40%，说明目标一侧保持静止比跟着策略漂移更好。监督深度取 14、16、18、20 层分别是 97.10%、97.30%、97.45%、95.45%，第 18 层最好，再深反而掉。

损失权重扫过 0.4、0.5、0.6、0.7，平均成功率是 95.70%、96.90%、97.45%、96.75%，只有 0.6 这一个设置超过了 FastWAM 的 97.00%。对权重最敏感的是 Long 套件，在 90.0% 到 97.0% 之间跳了 7 个点。预测头的容量也存在同样的“不大不小”规律：宽度 1536、71M 参数的 transformer 头到 97.45%，加宽到 3072、145M 反而只有 96.30%；同样宽度换成 MLP，1536 与 3072 分别是 95.05% 与 95.35%，比 transformer 头低 2.40 与 0.95 点。

训练预算的消融对工程判断很关键。Wan 配方跑 10k 步时，JAM 在 LIBERO 上已经到 97.45%，但 LIBERO-Plus 只有 48.47%，低于 FastWAM 同预算的 55.25%；跑到 20k 步，LIBERO 保持 97.45%，LIBERO-Plus 才升到 55.58%。也就是说，在扰动基准上兑现收益需要足够的训练步数，预算砍半时这个配方是不划算的。

配对 rollout

图 5 给了两个 LIBERO-Long 的配对回合，两个策略都在 Ovis-U1 上。第一个任务是“把黑碗放进最下面的抽屉并关上”，ImageWAM 到最后没把抽屉关上，JAM 关上了；第二个任务是“把两个摩卡壶都放到炉子上”，ImageWAM 在放第二个壶时把它撞倒了，JAM 两个都放好了。这类定性证据不能代替统计，但它能说明增益不是纯粹的数字抖动：失败的形态正好落在长程任务最容易丢的那一步上。

图 5 图 5｜LIBERO-Long 的配对回合：ImageWAM 没关上抽屉、撞倒了第二个摩卡壶，JAM 两个任务都完成（原文 Figure 3）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

实验第二层：把配方搬到别的 backbone 家族

初始化到底哪个重要

第二层先回答一个问题：前瞻损失之所以有效，到底是因为 backbone 预训练得好，还是因为目标给得好。作者把 Wan 的 backbone 与未来锚点分别设成预训练或随机，做了四种组合。双预训练是 97.45%，预训练 backbone 配随机锚点是 97.65%，双随机只有 84.40%，随机 backbone 配预训练锚点是 71.15%。

两个结论从这张小表里出来。第一，策略 backbone 的预训练权重很重要：两个“随机 backbone”的行分别是 84.40% 与 71.15%，比预训练 backbone 的行低 13 到 26 点。第二，目标锚点可以随机：随机锚点并不比预训练锚点差，甚至略高 0.2 点，而这个差值在重复实验的标准差（LIBERO 平均 0.13 到 0.15 点）以内，不该被当成优势。论文的解释是，冻结的随机编码器提供的是稳定、依赖输入的特征，不是独立采样的噪声，所以它仍能充当一个有效但无信息的教师。这与附录里提到的“随机教师也能教”这条线索一致。

四个 backbone 的横向比较

把同一套动作加前瞻的目标套到不同家族上，得到的结果是这篇论文最想让人看到的一张表。生成式的 Ovis-U1（1.13B）是 96.75% 与 79.95%；自监督的 DINOv2-B（86.6M）是 95.50% 与 68.19%，DINOv2-L（304M）是 96.30% 与 70.39%；视觉语言的 Qwen3.5-2B 是 96.55% 与 81.14%；而同样在 Ovis-U1 上、用生成损失训练的 ImageWAM 是 92.90% 与 65.27%。四个 JAM 实例在两个基准上都超过了那个生成式基线。

表里还有两个读数值得单拎出来。一个是参数量与成功率不成正比：DINOv2-B 只有 86.6M，LIBERO 就到 95.50%；但在 LIBERO-Plus 上 DINOv2 两个规格只有 68 到 70 点，比视觉语言的 81.14% 低 11 点以上。我的解读是，抗扰动这一维更吃语言与语义对齐，而不太吃视觉主干的参数规模，但这只是从两行数字推出来的猜测，论文没有做这个归因。另一个是生成式与视觉语言两个最强实例的差距很小：96.75% 与 96.55% 差 0.20 点，79.95% 与 81.14% 差 1.19 点。

前瞻损失到底带来了多少，要看“只用动作损失”的对照组。Qwen3.5-2B 从 77.03% 升到 81.14%，涨 4.11 点；DINOv2-L 从 68.26% 升到 70.39%，涨 2.13 点。涨幅在 backbone 之间差了一倍，而且不是全面改善：Qwen3.5 在机器人初始状态（68.02% 降到 61.42%）与语言（72.54% 降到 71.72%）两个类别上变差；DINOv2-L 在语言（86.48% 降到 80.74%）、光照（86.96% 降到 85.71%）与背景（85.48% 降到 77.42%）上变差，它的收益主要来自相机（37.92% 升到 55.42%）与机器人状态。这一点在后文“局限与失效场景”里会展开。

共享权重也行

还有一个顺带的工程结论：前瞻训练并不要求一个独立的动作专家。作者把 Qwen3.5 的 backbone 权重直接共享给动作预测，形成一个 2.22B 的策略，LIBERO-Plus 到 79.61%；共享 4B backbone 的版本是 4.55B、80.68%；而独立动作专家的 3.60B 版本是 81.14%。独立专家用更少的参数拿到了与共享 4B 相当的结果；但这是单次运行，只能当作“不必强求独立专家”的存在性证据。

注意力去哪里了

图 6 是对动作专家视觉注意力的一张切片。做法是把注意力在头、动作 query、采样步与层上取平均，再在 100 个参考帧上减均值，只保留高于均值那部分，这样看到的才是“随内容变化”的注意力而不是恒定的偏置。在一个 LIBERO-Long 观测上，ImageWAM 更多盯着夹爪里那个杯子，而同一 backbone 上的 JAM 更多看指令里点名的第二个杯子。右侧的柱状图统计了 100 帧上的注意力份额：DINOv2-L 最大的一份给了图像 key，JAM (Ovis-U1) 最大的一份给了文本 key，Qwen3.5-2B 最大的一份给了动作 key。

这张图能说明的只是注意力分配的位置变了，不能说明因果。三种 backbone 的动作接口本来就不一样（有没有独立文本编码器、前缀是不是因果的），份额差异里有相当一部分来自接口设计而不是训练目标。把它当作“未来监督让模型更关注指令里提到的目标”的一个弱证据可以，当作结论不行。

图 6 图 6｜动作专家对视觉 token 的注意力：ImageWAM 盯着夹爪里的杯子，JAM 更看指令点名的第二个杯子，坐标是 100 帧上的注意力份额（原文 Figure 5）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

实验第三层：与配对的 FastWAM / ImageWAM 对照

LIBERO

把配对结果放到公开数字里看，位置是这样的：π0 是 94.1%、π0.5 是 96.9%、GR00T N1 是 93.9%、OpenVLA 是 76.5%；生成式一侧 Motus 97.7%、LingBot-VA 98.5%、FastWAM 97.0%、JAM (Wan) 98.2%；图像生成器一侧 ImageWAM 92.9%、JAM (Ovis-U1) 96.8%；视觉语言一侧 JAM (Qwen3.5-2B) 96.6%。

表里有个 P.T. 列需要盯着看，它表示是否用了机器人数据做实体预训练。JAM 的全部实例都是 ×，而 π0、π0.5、GR00T N1、Motus、LingBot-VA 都是 ✓。所以 JAM (Wan) 的 98.2% 是“没有实体预训练”条件下的最高值，而排在前面的 LingBot-VA 98.5% 带着实体预训练，引用时要一起说。

LIBERO-Plus

LIBERO-Plus 是更能分开差距的基准，因为它按相机、机器人初始状态、语言、光照、背景、传感器噪声、布局七类做了扰动。分项上，JAM (Qwen3.5-2B) 平均 81.1%，JAM (Ovis-U1) 79.9%，ImageWAM 65.3%，JAM (Wan) 64.5%，FastWAM 55.3%，OpenVLA-OFT 69.6%，π0 53.6%。三组内部 JAM 都是第一。

配对差值分别是 +9.2 点（对 FastWAM）与 +14.7 点（对 ImageWAM）。论文也如实写了两个例外：JAM (Wan) 在背景类别上 46.2% 低于 FastWAM 的 49.5%，JAM (Ovis-U1) 在机器人初始状态上 49.2% 低于 ImageWAM 的 54.8%。也就是说“全面更好”这句话不成立，是六类更好、一类更差。

图 7 把这件事画成了配对图：横轴左侧是只有基线做对的任务数，右侧是只有 JAM 做对的任务数，每一对都基于同样的 1,506 个任务。Ovis-U1 上收益最集中的是相机（71 对 9）与传感器噪声；Wan 上收益最集中的是机器人初始状态（45 对 10），而相机几乎是平的（31 对 28）。这种“增益落在哪一类扰动上”的分布，比一个平均值更能说明你的场景能不能受益。

RoboTwin 2.0

RoboTwin 2.0 是双臂操作基准，50 个任务，每个任务每种设置跑 100 次，分 Clean 与 Randomized 两种设置，后者会改变桌面上的杂物、背景纹理、光照、桌高与指令措辞。平均下来：π0 62.2%、π0.5 79.8%、Motus 87.8%、JAM (Qwen3.5-2B) 89.8%、ImageWAM (Ovis-U1) 89.0%、JAM (Ovis-U1) 89.9%、FastWAM 91.2%、JAM (Wan) 91.4%、LingBot-VA 92.2%、ImageWAM (FLUX.2) 92.9%、JAM (FLUX.2) 93.1%。

三组配对都是“持平或略高”：91.44 对 91.21、89.90 对 88.96、93.08 对 92.94。增幅在 0.1 到 0.9 点这个量级，远小于 LIBERO-Plus 上的两位数。论文对此的表述是“similar or slightly higher”，用词是准确的。视频生成一侧第一名仍然是带实体预训练的 LingBot-VA，比 JAM (Wan) 高 0.8 点。

这里还有一个间接但重要的成本论据。论文引用 Yuan 等人的测量：先不生成视频就直接预测动作的推理路径，比同架构但先生成视频的变体快四倍以上。JAM 继承的正是这条路径，所以它在 RoboTwin 上与生成式基线打平，并不意味着推理成本也打平。

统计与重复

作者对四个配对比较做了固定检查点上的 95% 置信区间，用 10 万次任务级 bootstrap 重采样：FastWAM 在 LIBERO 上 +1.15 点，区间 [+0.20, +2.10]；ImageWAM 在 LIBERO 上 +3.85，区间 [+1.00, +7.40]；FastWAM 在 LIBERO-Plus 上 +9.23，区间 [+6.84, +11.69]；ImageWAM 在 LIBERO-Plus 上 +14.67，区间 [+12.15, +17.13]。四个区间都不含零，配对的 McNemar 检验全部 p 小于 0.05，具体是 0.015、1.01×10⁻⁹、1.91×10⁻¹³ 与 9.69×10⁻³⁰。

重复性方面，两个最终配置各训了三次：Wan 配 VAE 直连目标，LIBERO-Plus 是 64.61 ± 0.37%；Ovis-U1 配预训练 Yak 目标，是 79.92 ± 0.43%。LIBERO 上的均值 ± 标准差分别是 98.13 ± 0.13 与 96.75 ± 0.15。这些重复实验把噪声底噪说清楚了：LIBERO-Plus 上 0.4 点以内的差别不值得解读，LIBERO 上则是 0.2 点以内。

定性证据

图 8 把配对回合扩到了四个任务：前两个在 LIBERO-Plus 上，用 Ovis-U1，分别是“打开炉子并把摩卡壶放上去”和“打开柜子中间那层抽屉”；后两个在 RoboTwin 2.0 上，用 Wan，分别是“把罐子放进篮子”和“把红绿蓝积木叠起来”。ImageWAM 没能把摩卡壶提起来，还拉成了最上层抽屉；FastWAM 撞倒了罐子、也把积木堆弄塌了。JAM 在这四个选定任务上都完成了。同样要提醒的是，这些是作者挑出来的回合，说明的是失败模式，不是成功率。

图 7 图 7｜1,506 个共享任务上的配对结果：左半边只有基线做对，右半边只有 JAM 做对（原文 Figure 6）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

图 8 图 8｜更多配对回合：LIBERO-Plus 上 ImageWAM 提不起摩卡壶、拉错抽屉，RoboTwin 2.0 上 FastWAM 撞倒罐子与积木（原文 Figure 7）图源：Vision-Language-Action or World-Action? Just Action Models（arXiv:2610.37219v1），arXiv 非独占许可

代价：算力、显存、实现复杂度

FLOPs 与 GPU 时间

论文的算力核算做得比较细，把训练期参数、估计的在线 FLOPs 与实测 GPU 时间放在同一张表里。FastWAM 每样本每步估计 15.52 TFLOPs，实测 0.789 秒；JAM (Wan) 在目标在线计算时是 9.80 TFLOPs，降 36.9%，缓存目标后是 4.19 TFLOPs，降 73.0%，实测 0.258 秒，降 67.3%。ImageWAM 是 5.81 TFLOPs 与 0.473 秒；JAM (Ovis-U1) 在线 4.88 TFLOPs，降 15.9%，缓存后 3.67 TFLOPs，降 36.8%，实测 0.294 秒，降 37.8%。

策略与目标估计 TFLOPs 每样本每步实测 GPU 时间（秒/步）

FastWAM	15.52	0.789
JAM (Wan)，目标在线	9.80（−36.9%）	0.532（−32.6%）
JAM (Wan)，目标缓存	4.19（−73.0%）	0.258（−67.3%）
ImageWAM (Ovis-U1)	5.81	0.473
JAM (Ovis-U1)，目标在线	4.88（−15.9%）	0.403（−14.8%）
JAM (Ovis-U1)，目标缓存	3.67（−36.8%）	0.294（−37.8%）

读这张表有三个前提。第一，所谓缓存是在线的目标抽取被提前算好，成本不含那一次性的抽取，而且要求锚点、预处理、时间索引与条件都固定；只要你想让锚点跟着训练走，缓存就失效，而 EMA 实验已经说明跟着走反而更差。第二，Wan 的实测降幅（67.3%）低于 FLOPs 估计（73.0%），论文的解释是归一化、激活与旋转位置编码这些算子的开销不随 token 数等比缩小，这个解释对任何做过分项 profiling 的人都成立。第三，这些数字只覆盖被估计的那些算子，不是端到端墙钟时间。

显存与训练期参数

训练期新增的参数分两块。一块是预测头：Wan 是 71M，Ovis-U1 是 16.5M，相对 4.9B 或 1.13B 的骨干都是零头。另一块是未来锚点：Wan 用 VAE 直连目标时是 0，直接复用策略自己的冻结 VAE；Ovis-U1 在线算目标时要额外加载一个冻结的 1.13B Yak18。部署参数与各生成式基线完全一致，这是本文反复强调的一点。缓存目标的存储开销、以及缓存 1,506 个任务级规模的数据要多少磁盘，论文没有报告。

实现复杂度的真实来源

每个 backbone 都要重新选监督层与读出偏移，经验值大约在 60% 深度但 DINOv2 例外，这需要逐主干做一轮小规模搜索。
目标特征要对齐到策略侧的 token 布局，Wan 的做法是用固定空间索引做对齐、不做物体跟踪，也就是目标侧的空间对应关系是静态的，场景大幅位移时是否还成立，论文没有讨论。
VAE 直连目标要一个保范数的升维映射（Wan 上是 192 维到 3072 维），否则余弦相似度会被破坏。
λF 要按配方重调（Wan 0.6、其他 0.3），偏移个数变化时总权重不变，这一点省了一些调参。
数据侧必须能给出“记录的未来”，并且时间间隔固定。论文没有报告未来帧缺失、时间戳抖动或不等间隔时的行为。

局限与失效场景

论文自己承认的三条

第一条，跨 backbone 的比较不能隔离预训练本身的影响。表 3 的标题里写得直白：架构与动作接口上的差异妨碍了隔离预训练效果。所以“生成式实例 96.75%、视觉语言实例 96.55%，两者打平”不能被升级成“预训练方式无关紧要”。

第二条，最优目标与架构绑定。Wan 上最好的是 VAE 直连，Ovis-U1 上最好的是预训练 Yak，作者用两者目标表示里时间信息的不同来解释。这意味着换架构就得重新选目标空间，不存在一个放之四海皆准的锚点。

第三条，部分对比是单次运行。共享权重与独立专家的对比只有一次训练；三次重复只覆盖两个最终配置。此外全部实验都在仿真里，伦理声明里也写明，把仿真训练的策略不经物理验证直接部署是有风险的，这是作者自己列出的风险，不是我的补充。

我读出来的五条风险

增益与类别强相关。LIBERO-Plus 的分项里，Qwen3.5 在机器人初始状态与语言上变差，DINOv2-L 在语言、光照、背景上变差。如果你的主要扰动是这几类，前瞻损失可能是负贡献。
LIBERO 上的加成很薄。配对差 +1.15 点，区间下界只有 +0.20，而 LIBERO 本身已经接近饱和（JAM 的两个配置在 Spatial 与 Object 上到了 98.6 到 100）。在这个基准上再抠一个点，收益与引入新分支的成本不成比例。
训练预算敏感。10k 步时 JAM (Wan) 在 LIBERO-Plus 上只有 48.47%，低于 FastWAM 的 55.25%。要用这个配方，预算至少得跟到基线收敛步数的两倍左右。
超参数敏感。监督深度从 18 挪到 20 掉 2 点，λF 从 0.6 挪到 0.4 掉 1.75 点，Long 套件在权重扫描里跳 7 个点。这些都不是可以随便抄的默认值。
收益的口径要小心。Wan 上 9.2 点的主要来源是目标空间换成 VAE 潜变量，不是“不生成画面”；Ovis-U1 上才是换损失本身。同一句“前瞻替代生成”在两个架构上代价与收益的来源并不相同。

什么情况下别用

数据侧给不出对齐的记录未来时，这套方法没有起点，前瞻损失无从计算。训练预算只有几千步时，收益很可能为负，因为扰动基准上的增益需要更长的训练才能兑现。需要模型在推理期“先想象再行动”的可解释性叙事时也不适合，本文明确把未来留在训练期，附录里也和用潜变量 rollout 做模型预测控制的 V-JEPA 2-AC 划清了界限。最后，如果你只是想在一个很强的基线上抠一个点，LIBERO 上 +1.15 的代价不太值。

落地判断：什么团队值得试，什么团队别碰

值得试的三类团队

已经有 VLA 或 WAM 训练管线、想把未来监督做便宜一些的团队。改动只发生在损失与目标分支上，动作通路和部署形态完全不动，回退成本低。
主干规模受限的团队。DINOv2-L 只有 304M，在 LIBERO 上到 96.30%、LIBERO-Plus 上到 70.39%，比 1.13B 的生成式基线高 5.1 点。这说明不需要一个 5B 的视频模型也能吃到未来监督。
想在同一套代码里横向比较不同 backbone 的团队。JAM 把接口收敛成“动作损失加前瞻损失”，锚点与监督层可换，比较起来比跨论文对齐设置可靠得多。

别碰的四类情形

场景的主要扰动集中在机器人初始状态、语言或光照上的团队。这几类上前瞻损失有变差的分项，先做小规模验证再决定。
训练预算被卡死的团队。10k 步这个量级上，JAM (Wan) 在 LIBERO-Plus 上还不如不加未来监督的基线配方。
数据里没有可靠未来帧的团队。需要的是固定间隔的记录未来，不是任意后续帧。
需要推理期显式规划能力的团队。这条路线把未来完全留在训练期，部署时没有任何想象环节。

最小可行验证路径

在一套已有策略上固定架构，只把生成损失换成前瞻损失，偏移先取 [1]，监督层取大约 60% 深度，λF 从 0.3 开始。

目标侧先用最便宜的方案：冻结 VAE 直连。Wan 上这一档就是最优，Ovis-U1 上它也是第二好的选择，先跑通再换预训练锚点。

同时训 action-only 与 foresight 两组，用同一份固定任务清单做配对比较，不要只比平均值。

预算至少给到基线收敛步数的两倍，否则结论会被训练不足污染。

按扰动类别看增益，找出负贡献的那几类，再决定是否上线、以及是否需要针对这些类别补数据。

术语速查表

术语含义与在本文里的作用

VLA（Vision-Language-Action）	以视觉语言模型为底座、附加动作专家预测动作块的一类策略，代表是 OpenVLA、π0、π0.5
WAM（World-Action Model）	从图像或视频生成器出发、把动作与未来视觉预测一起学的一类模型，代表是 Motus、LingBot-VA、FastWAM、ImageWAM
JAM（Just Action Model）	本文提出的统一配方：预训练视觉 backbone 加动作专家，训练用动作损失加前瞻损失，部署只留这两部分
Lact	动作流匹配损失，监督动作块 a1:H，三类做法共有，也是唯一在部署时保留的损失
LG	视觉生成损失，WAM 用来去噪或渲染未来观测，需要解码器或去噪通路
LF	前瞻损失，当前观测特征与冻结锚点对未来的编码之间的余弦距离
未来锚点 Eφ	冻结编码器，把记录的未来变成前瞻损失的目标；可以是预训练 backbone、随机初始化的 backbone，或策略自己的 VAE
读出偏移 k	锚点时间序列上的位置编号，k=0 是当前观测，k≥1 是记录的未来；K 是被监督的偏移集合
预测头 p	训练期专用的映射，把策略 token 投到目标空间，每个偏移一个线性读出，训完即丢
stop-gradient（sg）	截断目标一侧的梯度，使锚点只提供目标、不被训练改变
VAE 直连目标	不用目标 transformer，直接把冻结 VAE 的潜变量块做保范数升维当目标，锚点参数量为 0
LIBERO-Plus	LIBERO 的扰动版本，按相机、机器人状态、语言、光照、背景、噪声、布局七类生成扰动；本文用 1,506 个任务的固定子集
P.T.（实体预训练）	对比表里标是否用机器人数据做过预训练的列，JAM 的全部实例都是 ×

回到开头那个问题：VLA 还是 WAM。这篇论文的答案是，先别急着在这个层面选边。把 backbone 初始化、未来观测上的目标、以及推理与训练阶段保留哪些机制这三件事分开，你会发现真正被数据支持的那一半结论是“未来监督不必经过视觉生成”，而不是“视觉语言比生成式更好”。前者已经足够改变工程选型，后者这篇论文自己说了还不能下结论。