机器人策略通常把“看懂画面”和“输出动作”分给两条计算路径:视觉生成骨干负责推演环境,另一个动作头或动作专家负责把理解变成关节指令。9 月 22 日提交的 PatchWAM 论文反过来问:如果动作也被写成视觉骨干熟悉的 token,第二套网络还必不可少吗?作者用一个没有可训练参数的编码器替代了 6.4 亿参数动作专家,在一组同数据、同训练设置的模拟对照中,平均成功率从 78.4% 提高到 88.0%。代价也很具体:网络结构更统一了,推理却更慢。
一步动作被重复、补零,装进一个 128 维视觉 token
PatchWAM 的 Action-as-Patch 编码没有学习过程。模型先按数据集对每个连续动作维度做标准化,再把每个数值重复若干次,最后补零到视觉潜空间的 128 维宽度。RoboTwin 和 RoboDojo 的动作是 14 维,每个分量重复 9 次;LIBERO 的动作是 7 维,每个分量重复 18 次。两种情况都有 126 个位置承载动作值,剩余两个位置补零。
解码同样固定:把同一动作分量的多份副本取平均,再做逆标准化。这个映射在浮点误差范围内可逆,不需要重建损失,也没有动作专用的输入层、输出层或 token 类型嵌入。它成立有一个清楚的前提:动作维度必须小于视觉 token 宽度;面对更高维本体,当前这套重复与补零办法不能直接保证同样的无损映射。
编码之后,16 步动作成为 16 个 token,与未来画面的潜变量一起送入同一个 40 亿参数 FLUX.2 [klein] 视觉生成骨干。训练时,模型同时学习给动作和未来帧去噪;推理时,两组 token 都从噪声出发,模型只把动作 token 解码成控制指令,不必把未来帧还原为 RGB 图像。换句话说,未来画面仍参与计算,只是不需要展示出来。
同条件对照支持“可以不用动作专家”,还没有解释为何更好
最能检验架构选择的不是论文里的最高榜单分数,而是 RoboTwin 2.0 的匹配对照。两种模型使用相同视觉骨干、演示数据、批量大小和 41,940 次更新;训练窗口都只保留每 20 个起点中的一个。带动作专家的对照平均成功率为 78.4%,PatchWAM 为 88.0%,绝对提高 9.6 个百分点。前者额外增加 6.4 亿可训练参数,后者的固定编码器不增加参数。
这个结果证明的是:在这套抽样训练和模拟任务里,高成功率不要求单独的动作专家。它还不能证明固定编码本身制造了 9.6 个百分点的增益,因为两种架构同时改变了参数共享、动作与图像 token 的交互方式以及计算路径。论文随后做的更窄消融也显示,固定编码与一个增加 3,726 个参数的可训练线性编码器分别得到 94.57% 和 94.50%,0.07 个百分点的差异没有可解释价值;禁止动作 token 与未来帧 token 互相注意后,成功率下降 0.58 个百分点,但每种设置都只训练一次。
这组结果也回应了另一项同期研究。OpenWAM 在系统性实验中主张,世界—动作协同需要足够的专用动作容量;PatchWAM 则表明,至少在它测试的低维连续动作上,把信号改写成视觉骨干的原生格式后,专用容量并非必要。两者的差异更像一个待拆解的条件问题,而不是“动作头已经被淘汰”的结论。
最高分混入更多演示,不能都算给 Action-as-Patch
PatchWAM 报告的两个醒目成绩来自不同且更宽松的数据设置。RoboTwin 2.0 的 96.12% 使用每项任务 50 条干净演示、500 条随机场景演示,并为七项低成功率任务增加 2,100 条增强演示;没有这批额外演示的完整训练跑次为 94.57%,相差 1.55 个百分点。官方固定数据榜单则要求总计 2,500 条干净轨迹,数据口径并不相同。
LIBERO-Plus 的 91.8% 也来自针对扰动场景增强后的训练数据。只用原始 LIBERO 数据时,PatchWAM 的总成功率是 80.2%,相差 11.6 个百分点。因此,91.8% 说明模型能利用扰动数据学习鲁棒性,不是对未知扰动的零样本证明。在机器人初始状态扰动这一类中,它的成功率只有 71.0%,也明显低于相机和传感器噪声下的 97.9%。
论文所有主要实验都在模拟环境中完成,每项配置只有一次训练或评估运行,没有独立随机种子带来的方差。arXiv 条目也没有给出 PatchWAM 的官方代码或权重链接。现阶段最稳妥的判断是:这项工作证明了固定接口足以驱动共享视觉骨干完成控制,但最高分、跨本体泛化和真实机器人表现仍没有被独立复现。
少一条网络不等于少算力,统一路径让推理更慢
PatchWAM 的反常代价来自计算路径。论文在相同 GPU、20 个求解步骤下测得,一次生成 16 步动作需要 0.446 秒,是双专家对照 0.239 秒的 1.87 倍。对照可以先运行一次视觉骨干并缓存结果,随后只用较小的动作专家迭代 16 个动作 token;PatchWAM 每一步都让包含当前画面、未来画面和动作在内的 721 个 token 重新经过 40 亿参数骨干。
论文评测实际采用 10 个求解步骤,但没有报告这一设置的延迟,也没有证明能够实时控制物理机器人。未来帧是否真的帮助动作选择同样未被隔离:切断两组 token 的互相注意只带来 0.58 个百分点差异,而且并未移除未来帧预测本身。
这使 PatchWAM 的价值落在一个比榜单更窄、也更可检验的命题上:机器人动作不一定需要自己的神经网络,只要接口能把它写进已有骨干的表示空间。下一步真正决定这条路线能否进入物理机器人系统的,不是再多一个模拟榜单高分,而是代码与权重开放后,独立复现能否同时保住成功率、跨本体适应和低延迟。

