World Action Model
也称 WAM
同时预测未来视频(或视觉状态)与机器人动作的一类策略模型,把“想象接下来会看见什么”和“该怎么动”当成同一问题。
如何理解
常见机器人策略只输出关节角或末端位姿。世界动作模型在学习动作的同时预测后续画面,使控制与视觉预测共用同一表示。因为不同机型在摄像头里都以像素出现,这一设定被用来探索对未见过机型的零样本迁移。
Dream Labs 的 Dream-1 是公开 API 形态的例子:输入头相机与双腕相机画面、机器人状态和任务描述,输出约 1.6 秒的动作块;对未见双臂平行夹爪机型,可先输出末端位姿再由本机 IK 转成关节指令。
容易混淆的地方
不等于任意机型都能可靠控制。性能依赖本机 IK、运动学与训练分布的差距;未见构型可能预测出不可行轨迹。研究 beta 也不等于已通过安全关键场景验证。