World Action Model · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/物理智能/World Action Model
  • Physical AI
  • Embodied AI
  • VLA
  • Robot Policy
  • IL
Sim2Real
  • World Model
  • Teleoperation
  • BC
  • Action Chunking
  • Diffusion Policy
  • Domain Randomization
  • Proprioception
  • Digital Twin
  • World Action Model
  • 物理智能 · 词条目录
    • Physical AI
    • Embodied AI
    • VLA
    • Robot Policy
    • IL
    • Sim2Real
    • World Model
    • Teleoperation
    • BC
    • Action Chunking
    • Diffusion Policy
    • Domain Randomization
    • Proprioception
    • Digital Twin
    • World Action Model

    World Action Model

    也称 WAM

    同时预测未来视频(或视觉状态)与机器人动作的一类策略模型,把“想象接下来会看见什么”和“该怎么动”当成同一问题。

    如何理解

    常见机器人策略只输出关节角或末端位姿。世界动作模型在学习动作的同时预测后续画面,使控制与视觉预测共用同一表示。因为不同机型在摄像头里都以像素出现,这一设定被用来探索对未见过机型的零样本迁移。

    Dream Labs 的 Dream-1 是公开 API 形态的例子:输入头相机与双腕相机画面、机器人状态和任务描述,输出约 1.6 秒的动作块;对未见双臂平行夹爪机型,可先输出末端位姿再由本机 IK 转成关节指令。

    容易混淆的地方

    不等于任意机型都能可靠控制。性能依赖本机 IK、运动学与训练分布的差距;未见构型可能预测出不可行轨迹。研究 beta 也不等于已通过安全关键场景验证。

    参考来源

    1. Zero-Shot to New Robots: Introducing Dream-1 | Dream Labs(新窗口打开)