一台机械臂把红色积木放进盒子,最慢的未必是抓取,而可能是手臂在空中移动时等待大模型给出下一段动作。普渡大学团队 9 月 17 日提交的预印本 SkipVLA 选择少问模型:在一组真机单积木任务中,MolmoAct2 的平均完成时间从 46.56 秒降到 18.82 秒,成功次数则从 20 次中的 18 次变为 19 次。
这组约 2.47 倍的加速是论文里的最大值,不是所有任务的平均表现。它真正提出的系统选择是:机器人不必让视觉—语言—动作模型(VLA)控制每一厘米移动。模型负责看懂指令和处理接触,成熟的运动规划器负责几何路径,速度来自把昂贵推理留在更需要它的位置。
空中移动交给规划器,抓放仍由 VLA 接管
SkipVLA 把一次抓放拆成反复交替的两个阶段。机械臂先由规划器移动到目标物体上方的悬停位姿;进入目标距离后,VLA 接管抓取或放置;抓手一旦开合,控制权再交回规划器,开始下一段自由空间移动。
规划器本身不理解“把红色积木放进盒子”。系统先用 RGB-D 画面生成候选物体的三维包围盒,再把每个包围盒与原 VLA 冻结的视觉—语言特征做交叉注意力打分,选择下一目标。随后,VAMP 或 cuRoboV2 根据当前关节状态、目标位姿和碰撞信息生成路径。VAMP 把碰撞检测与正向运动学向量化,其 2024 年论文报告采样式规划可进入微秒级;在 SkipVLA 中,这类规划器承担了原本需要多次 VLA 查询的空中行程。
团队没有重新训练 VLA,也没有采集新的示教,但仍训练了一个新的目标打分头。监督信号来自原有示教:每当抓手开合,系统找到离末端执行器最近的包围盒,把它当作此前移动阶段的目标。仿真实验用了 13 个 LIBERO 顶视抓放任务,每项 50 条人类遥操作示教,共 650 条;三项真机任务的两个基础 VLA 也分别用每项 50 条示教微调。因此,“无需新增示教”不等于无需训练或无需任务数据。
切换边界同样不是模型学出来的。机械臂抵达悬停位姿时转给 VLA,抓手状态改变时转回规划器。论文还用物体高度变化做了替代实验,结果接近,但作者明确把学习任务边界留作后续工作。
2.47 倍只出现在最简单的一组真机任务
SkipVLA 在仿真和真机中的收益并不均匀。LIBERO-Object 的 10 个短任务上,π0.5 配合 VAMP 的成功率都为 99%,成功试验的平均时间从 8.33 秒降到 5.27 秒;SmolVLA 配合 VAMP 则从 12.61 秒降到 6.96 秒,成功率由 39% 升至 77%。在更长的三个 LIBERO-10 任务上,π0.5 配合 VAMP 只从 15.69 秒降到 13.84 秒,换用 cuRoboV2 后反而升到 17.84 秒。规划器减少了 VLA 调用,并不保证每种组合都缩短墙钟时间。
真机测试覆盖单积木入盒、两块积木入盒和三块积木堆塔,每项、每种方法各做 20 次。按论文表格复算,SkipVLA 让 MolmoAct2 三项任务的平均时间降幅分别为 59.6%、45.2% 和 33.3%,三个百分比的算术平均为 46.0%;π0.5 对应为 28.8%、38.9% 和 24.1%,平均 30.6%。MolmoAct2 单积木任务的 46.56/18.82,才是标题常被压缩成的“最多 2.5 倍”。
能耗随调用次数一起下降。在 NVIDIA Jetson Thor 上,MolmoAct2 三项任务的平均能耗降幅为 52.4%,π0.5 为 29.1%。不过论文只对成功试验统计时间、调用次数和能耗,失败或超时的试验不进入这些均值;不同方法的成功样本数并不总相同。20 次真机试验也没有配套等效性检验或置信区间,所以更准确的说法是:作者在这六组真机对照中观察到相当或更高的成功次数,同时成功试验完成得更快,而不是已经证明两种系统在一般条件下成功率等效。
省下推理的代价,是先把任务结构说清楚
SkipVLA 的边界与它的速度来源是同一件事。当前系统只测试了可顶视抓取的 pick-and-place:场景需要深度图、可用的三维物体框、机器人与障碍物模型,以及能够由抓手开合标记结束的接触阶段。开门、擦拭、插接、工具使用、柔性物体操作,或抓手事件不能代表任务边界的动作,都没有被这组实验覆盖。三项真机任务也只使用一台 6 自由度 YAM 机械臂。
这条路线并非孤例。更早的 MPVI 在 BEHAVIOR-1K 仿真家庭任务中,把移动交给 A*,只在目标附近调用 VLA,并用本体状态触发完成检查。两项工作共同指向一种变化:端到端模型不再天然拥有整段轨迹的控制权,系统开始按物理难度和语义需求分配计算。但 MPVI 的移动操作与 SkipVLA 的桌面抓放不同,不能当作后者 2.47 倍结果的独立复现。
截至论文首版,arXiv 页面未列出 SkipVLA 的代码或轨迹数据,结果仍来自作者报告。下一步真正决定这种混合系统能否离开规则整齐的抓放台面的,不是再展示一个峰值加速,而是能否公开工件,并让系统在没有固定抓手事件、目标会被遮挡或接触持续发生时,仍可靠判断何时该让规划器走、何时必须把控制权还给模型。

