一只六自由度机械臂要把红色积木放进盒子。SkipVLA 没有让数十亿参数的视觉—语言—动作模型控制整段动作:规划器先把机械臂移到积木上方,VLA 只完成抓取;夹爪闭合后,规划器再把积木送到盒子上方,VLA 接手放置。普渡大学团队 9 月 17 日提交的预印本称,这种分工在三项实机抓放任务中,把最大提速的一组平均完成时间从 46.56 秒降到 18.82 秒,成功次数从 18/20 增至 19/20。
论文给出的最大提速是 2.47 倍,不是所有任务的平均结果。它来自 MolmoAct2 完成单积木任务时的 59.6% 时间下降;同一模型在三项实机任务上的平均降幅为 46.0%,π0.5 的平均降幅为 30.6%。SkipVLA 展示的不是一个更快的大模型,而是一种更克制的调用方式:把需要语义和接触反馈的片段留给 VLA,把目标明确的空中移动交给经典运动规划。
先预测“去哪里”,再决定由谁控制
经典运动规划器擅长在已知几何约束下找出无碰撞路径,却不知道自然语言指令里的“红色积木”是哪一个,也不知道何时该抓、何时该放。SkipVLA 为它补了一层目标预测:FastSAM 与 DBSCAN 从 RGB-D 观测中生成候选物体的三维包围盒,一个轻量评分头再把这些包围盒与冻结 VLA 的视觉—语言特征做交叉注意力,选出当前目标,在目标正上方生成悬停位姿。
评分头不用额外采集示教。训练时,系统从已有轨迹里找出夹爪开合时刻,把当时最接近末端执行器的物体或容器当作目标标签。仿真实验使用 LIBERO 的 13 个顶视抓放任务,每项 50 条人工遥操作示教,共 650 条;原有 VLA 权重保持冻结,只训练位置编码、注意力投影和评分头。
控制权的切换更简单,也更受限。系统从规划模式开始,末端执行器进入目标位姿阈值后切给 VLA;夹爪状态一旦开合,就切回规划器。作者还用物体高度变化替换这套规则做了消融,结果接近,但主方案的完成时间最短。这里没有一个通用的“技能完成理解器”,而是用抓放任务天然存在的两个事件充当边界。
少调用 VLA,时间和能耗才一起下降
在 LIBERO-Object 的 10 个短任务上,π0.5 加 VAMP 规划器的成功率与原模型同为 99.0%,成功轨迹的平均时间从 8.33 秒降至 5.27 秒,VLA 查询从 17.0 次降至 10.6 次。三个更长的 LIBERO-10 任务上,π0.5 的成功率同为 94.7%,平均时间从 15.69 秒降至 13.84 秒。换成 cuRoboV2 后,查询数更少、成功率略高,平均时间却升至 17.84 秒:把“大模型调用少”直接等同于“整机更快”并不成立,规划器本身也进入延迟账本。
实机测试把 π0.5 和 MolmoAct2 分别微调在每项任务 50 条遥操作示教上,再各跑 20 次单积木入盒、双积木入盒和三积木堆叠。六组“原模型—SkipVLA”对照里,SkipVLA 的成功次数都持平或更高;论文同时报告,三项任务的 VLA 调用平均减少 33.8%。
少做前向推理也改变了板端能耗。在 NVIDIA Jetson Thor 上,MolmoAct2 三项任务的单次成功轨迹能耗平均下降 52.4%,π0.5 下降 29.1%。以单积木任务为例,MolmoAct2 的平均能耗从 1876.6 焦耳降到 712.1 焦耳。这个结果支持的结论很具体:当 VLA 推理是执行时间与板端功耗的重要组成部分时,让几何规划接管一部分轨迹,可以同时缩短任务时间和降低计算能耗。
成功率上升更像线索,还不是因果结论
最显眼的模拟结果其实不是速度,而是 SmolVLA 在 LIBERO-Object 上的成功率从 39.0% 升到 77.0%(VAMP)或 82.0%(cuRoboV2)。作者解释,规划器把机械臂送回物体上方的标准悬停位姿,缩短了 VLA 连续控制的轨迹,也减少了自由空间移动中的误差累积。
这是合理机制,却还没有被实验单独识别。混合系统同时更换了空中轨迹、目标定位、切换规则和控制时长;论文没有给出能把成功率增益逐项归因的完整消融,也没有报告成功率差异的置信区间或显著性检验。表中的时间、查询数和能耗还只统计成功轨迹,因此不同方法成功样本的难度可能并不完全相同。更稳妥的读法是:规划器可能同时提供加速与“重置到熟悉起点”的效果,这值得后续用相同初始状态和失败分布验证。
混合规划也不是 SkipVLA 首次提出。5 月公开的 MPVI 已在 BEHAVIOR-1K 的长程移动操作中,用任务分解、运动规划和带本体感知触发的完成检查来交替调用 VLA。SkipVLA 的区别在于把分工推进到固定机械臂的一次抓放内部:规划器负责物体之间的自由空间段,VLA 负责接触段;它还复用冻结 VLA 的特征来预测目标,而不是把规划器只当导航或失败恢复工具。
当前边界是顶视抓放,不是通用机器人加速器
13 个仿真任务都经过筛选,要求能够用顶视抓取完成;三项实机任务也只有积木入盒和堆叠,使用同一台六自由度 YAM 机械臂。论文明确承认,夹爪开合规则假设每个接触片段都以抓取或释放结束。开门、插接、擦拭、双臂协作或需要持续接触的动作没有这个清晰边界,错误切换可能在最需要闭环反馈时把控制权交给规划器。
方法还依赖可用的深度图、物体分割、三维包围盒、目标悬停位姿和碰撞模型。论文所说的“无碰撞”只约束规划器负责的自由空间轨迹,不覆盖目标预测错误、感知漏检、VLA 接触动作或现实中的动态障碍。π0.5 和 MolmoAct2 本身也都是针对三项实机任务另行微调的版本,结果不能直接外推到零样本任务或陌生机械臂。
截至 v1 论文和随附源码包,作者没有给出 SkipVLA 的公开代码仓库,也没有发布逐次实机轨迹与能耗日志;2.47 倍和能耗降幅仍是作者实验,外部尚不能独立复算。下一步最有价值的验证不是再换一个更大的 VLA,而是把切换边界学出来,并在失败可恢复、持续接触和动态场景中检查:规划器究竟能接走多少动作,而不会把省下的推理时间换成新的控制风险。

