VLA · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/物理智能/VLA
  • Physical AI
  • Embodied AI
  • VLA
  • Robot Policy
  • IL
Sim2Real
  • World Model
  • Teleoperation
  • BC
  • Action Chunking
  • Diffusion Policy
  • Domain Randomization
  • Proprioception
  • Digital Twin
  • World Action Model
  • 物理智能 · 词条目录
    • Physical AI
    • Embodied AI
    • VLA
    • Robot Policy
    • IL
    • Sim2Real
    • World Model
    • Teleoperation
    • BC
    • Action Chunking
    • Diffusion Policy
    • Domain Randomization
    • Proprioception
    • Digital Twin
    • World Action Model

    VLA

    VLA(Vision-Language-Action Model)把视觉观察、语言指令与机器人动作连接起来的模型。它需要输出可用于控制的动作表示,而不只是文字回答。

    如何理解

    VLA 让模型根据看到的场景和任务指令预测动作。RT-2 将动作表示成输出 token;OpenVLA 也将预测的动作 token 解码为连续动作。动作的具体含义需要与机器人的控制接口对应。

    语言和视觉预训练提供了可利用的表征,机器人数据则建立观察、指令与动作之间的联系。适配新的机器人或任务仍可能需要额外数据与微调;理解一个词语,并不能直接保证完成对应的操作。

    容易混淆的地方

    VLA 是模型路线,不等于整个具身智能系统。能够看图生成操作建议的视觉语言模型,也不会仅因回答里出现动作词就成为 VLA。

    参考来源

    1. Google DeepMind · RT-2: Vision and language into action(新窗口打开)
    2. OpenVLA · An Open-Source Vision-Language-Action Model(新窗口打开)