训练机器人预测下一步时，完整画出一张未来画面，未必是最值得花计算量的任务。
2026 年 9 月 15 日，卡内基梅隆大学团队提交 ModAR 论文。这个世界动作模型没有把未来 RGB 图像当作通往动作的必经站，而是先预测画面中点的运动轨迹，再预测 DINO 视觉特征和深度，最后生成双臂动作。在六项仿真任务的同数据比较中，它以 30.1M 参数取得 75% 平均成功率；团队复现并微调的 6B 参数 Flex-π 为 72%。论文估算前者训练 FLOPs 约少 20 倍。
真正值得讨论的不是 3 个百分点，而是预算选择：世界模型如果服务于控制，是否还应该优先重建像素，还是先把运动、物体语义和几何关系交给动作模块？ModAR 给出了一个小规模、尚待复现的答案。
先预测运动和几何，再让动作读取这些结果
传统世界动作模型通常把当前画面编码后，同时预测未来视觉和动作。未来 RGB 能承载丰富信息，也会要求模型重建颜色、纹理、光照等大量外观细节；这些细节未必都影响一次抓取或放置。
ModAR 把未来拆成连续四步。点轨迹先描述画面中的位置将怎样移动；DINO 特征提供物体和场景的语义表示；深度补入空间几何；动作模块最后读取前面已经生成的结果。模型也能继续预测 RGB，但论文的最终真机配置将它拿掉了。
这种顺序并非只有结构上的差别。生成前一种模态时产生的误差会进入后一种模态，因此团队在训练时给已经生成的上下文主动加噪，让后续模块适应不完美输入。在 250 条示范规模的消融中，完整模型平均成功率为 75%；去掉这类上下文噪声后降至 63%。把顺序反过来，从 RGB、深度、DINO 再到点轨迹，成绩为 65%。
论文由此支持的是一个有限结论：在这组任务和架构里，先生成更紧凑的运动与结构表示，比先生成外观细节更有效。它没有穷举所有模态顺序，也没有证明任何机器人任务都应采用同一顺序。
“少 20 倍训练计算量”来自一组并不对称的系统比较
论文最醒目的数字来自六项 RoboTwin 双臂仿真任务。每项任务固定使用 50 条带动作标签的示范，再加入去掉动作标签的示范，把总量扩到 250 条。所有模型都在每项任务 50 个留出初始状态上评测，ModAR 的轨迹—DINO—深度版本平均为 75%。
团队还改造 Flex-π 的官方实现，使它使用单个头部相机和相同的 16 步动作预测范围；随后以相同 RoboTwin 数据微调从 Wan2.2-TI2V-5B 初始化的模型。Flex-π 在 3 万步后的最终检查点取得 72%。论文称，30.1M 参数的 ModAR 相比 6B 参数 Flex-π 小约 200 倍，训练 FLOPs 约少 20 倍。
这不是只替换一个组件的受控实验。两者的模型规模、预训练、预测模态和训练配方都不同；ModAR 从零训练 120 万个优化步，并在每 10 万步评测后报告最佳检查点，Flex-π 则报告 3 万步后的最终检查点。论文也把它定义为系统级比较，而非架构优劣证明。
20 倍同样不能写成机器人运行快 20 倍。完整生成四种未来模态和动作时，ModAR 在单张 RTX 5090 上一次推理耗时 147.9 毫秒，即 6.76 Hz；论文明确承认，顺序生成会比同时生成或只生成动作增加延迟。公开正文也没有提供足以让外部读者统一复算 20 倍 FLOPs 的完整计算表。
RGB 在六项任务里贡献最小，人类视频则通过辅助预测发挥作用
模态消融把“少画 RGB”变成了可检查的结果。在 250 条示范设置下，从完整模型分别移除点轨迹、DINO 或深度，平均成功率从 75% 降到 61%、65% 和 70%；移除未来 RGB 后仍为 75%。作者因此没有在三项真机实验中预测 RGB，只保留轨迹、DINO 和深度。
更多无动作标签数据也更适合这种训练方式。仿真中，每项任务仍只有 50 条带动作标签的示范；再加入 1200 条无动作标签示范后，ModAR 平均成功率从 66% 增至 76%，同时生成全部模态的 Unified 方案只增加 1 个百分点。无动作数据不能教机器人该发出什么关节指令，却能监督未来观测的变化，再间接改善动作预测。
真机实验沿用了这条路径。研究者用双臂 YAM 机器人测试叠杯、折叠揉皱毛巾、把物体放进抽屉并关上抽屉三项任务。每项任务有 100 条遥操作机器人示范、200 条同场景人类无动作示范和 1000 条对应类别的 EgoDex 人类示范；每种方法在每项任务运行 30 次。
加入两类人类视频后，ModAR 三项任务合计 90 次测试的平均成功率为 83.3%，Unified 为 66.7%，只预测动作的模型为 52.2%。单看 ModAR 的数据增量，只有机器人示范时为 70.0%，加入同场景人类视频后为 81.1%，再加入跨场景 EgoDex 视频后为 83.3%。这些视频只监督未来观测，不参与动作损失；它们带来的主要增量也来自与测试环境接近的 200 条示范，而不是数量更多的 EgoDex 子集。
下一步要验证的是泛化、计算账和部署延迟
ModAR 的实验只覆盖六项仿真任务和三项真机任务，输入使用离散任务标签，不是开放语言指令；论文没有测试跨物体、跨场景或新任务的广泛泛化。项目页截至论文发布时仍把代码标为“coming soon”，外部团队无法按公开实现复跑 75%、72% 和 20 倍三组核心数字。
因此，这项工作没有证明未来 RGB 对机器人控制无用。它证明的是更具体的一点：当训练数据和计算预算受限，先预测与运动、语义和几何直接相关的结构化模态，可以在一组双臂操作任务中替代昂贵的像素重建，并让无动作人类视频进入训练链路。
接下来决定这条路线能否走出论文的，不是再多一个平均成功率，而是公开代码后能否在更多任务上复现模态顺序的优势，给出可复算的训练 FLOPs，并在控制频率要求更高的场景里压低顺序生成的延迟。
