TEMPO 给 VLA 补上动作历史,接瓶成功率从 38% 升至 74% | AGIDaily
AGI Daily
资讯日报词条论文人物新创

TEMPO 给 VLA 补上动作历史,接瓶成功率从 38% 升至 74%

2026-09-15 / 共 2,522 字

TEMPO 论文作者 / arXiv

一个人拿着瓶子从机器人面前走过。相机拍到的这一帧能告诉机械臂瓶子在哪里,却不能告诉它瓶子正往哪边走;机械臂刚伸手还是已经接住准备收回,画面也可能几乎一样。对需要拦截、追踪和切换动作阶段的机器人来说,反应更快并不能补回这些缺失的信息。

加州大学欧文分校团队 9 月 15 日提交的 TEMPO,选择不给视觉语言动作模型(VLA)继续扩参数,而是在现有模型旁边补两段历史:一段概括最近的画面变化,一段记录机器人自己刚做过什么。在作者的双臂真机实验中,把这两种信号接到 VLASH 后,接瓶成功率由 38% 升至 74%。这项工作最有价值的地方不是又刷新一个任务分数,而是把“机器人慢半拍”拆成了两个不同问题:动作算得太晚,以及模型根本没看见时间。

异步推理解决停顿,却没有告诉模型物体往哪走

VLA 通常一次生成一串动作。同步执行时,机器人要等模型算完再动,动作块之间会停顿;RTC 和 VLASH 等异步方法让机器人一边执行上一串动作,一边计算下一串,从而降低反应延迟。VLASH 还会根据已经发出的动作推算新动作真正开始执行时的机器人状态,减少“按旧状态规划、在新状态执行”的错位。

TEMPO 针对的是另一层缺口。即使推理没有延迟,单帧也只给出物体的位置,不包含速度和方向。相似画面还可能来自不同任务阶段:机械臂伸向瓶子和放下瓶子后收回,下一步动作相反。论文把前者称为“运动歧义”,把后者称为“状态混淆”。

这一区分得到实验中的一个反例支持。在 Drop Catch 任务中,机器人要跟随一只横向移动的手并接住落球,RTC 成功率为 80%,高于 TEMPO 的 66%。作者据此把这项任务归为反应时机主导:缺失历史不是每个动态任务的最大瓶颈,降低延迟仍然有独立价值。

一段看外界运动,一段记录机器人走到哪一步

TEMPO 的第一路输入 TEMPO_MOT 使用冻结的 SAM 2.1-Tiny 视频模型。它把当前画面的特征作为查询,与此前若干帧的缓存特征做交叉注意力,压成一个运动表示。视频编码在后台线程持续运行;作者使用的 RTX PRO 6000 上,每帧约需 11 毫秒,VLA 读取额外表示后,前向时间从 VLASH 的 33.8 毫秒增至 35.3 毫秒。

第二路输入 TEMPO_ACT 不看图,而是汇总机械臂最近发出的本体动作命令。论文把 300 条命令分成 10 桶,每桶对连续 30 条命令取平均。在默认 30 Hz 控制频率下,这相当于用 10 个向量概括约 10 秒的动作历史,让模型判断抓取、跟随、释放或收回进行到哪一步。

两路信号被投影成额外 token,接到预训练 VLA 的前缀和动作专家中,不改动主干,新增约 200 万参数,占模型的 0.08%。接瓶消融中,只用动作历史为 52%,只用运动表示为 56%,两者合用达到 74%;两种历史提供的是互补信息,而不是同一种信号的重复编码。

“44% 到 74%”不是同一底座的前后对照

论文摘要用“接瓶从 44% 提升至 74%”概括结果,但这两个数字来自主表中的不同方法:44% 是 RTC,74% 是以 VLASH 异步管线为基础的 TEMPO。真正控制底座的插拔实验给出了三组对应关系:原始 π0.5 为 26%,加 TEMPO 后为 56%;RTC 为 44%,加后为 80%;VLASH 为 38%,加后为 74%。因此,TEMPO 在作者设置中的提升成立,但不应把 44% 和 74% 解读成同一个模型加模块前后的直接变化。

每个数字来自 50 次真机执行。接瓶任务中,TEMPO 成功 37 次;VLASH 成功 19 次,RTC 成功 22 次。作者还逐次查看失败,发现两种异步基线最常见的问题是机械臂伸向错误位置、完全错过瓶子:VLASH 18 次、RTC 24 次,TEMPO 降到 10 次。这与运动信息帮助预测拦截点的解释一致。

另外两项任务揭示了主表容易忽略的实验处理。Flick Catch 和 Wine Pour 的完整流程都包含“伸手取物”和“放下后收回”这两个视觉相似、动作相反的阶段。RTC 与 VLASH 在完整任务的 50 次测试中全部失败,作者于是删去训练和评测数据里的释放—收回片段,再把修剪后的成绩放进主表。回到未修剪流程,TEMPO 在 Flick Catch 达到 68%,在 Wine Pour 保留了 97.6% 的珠子质量。

这里的 97.6% 不是二元任务成功率,而是最终落入容器的珠子质量比例。论文把它与另外三项任务的成功率一起求平均,因此主表的 76.0% 更适合看作四个任务指标的算术汇总,不能当成统一口径的“平均成功率”。

5.5 万个可见物体帧已上线,许可和题型还没收尾

作者同时发布 TEMPO-Bench,用逐帧物体位置和速度检查模型内部是否真的编码了运动。仓库包含 257 段、97,265 帧双臂机器人记录,其中 182 段带物体轨迹标注,55,482 帧成功定位到物体。论文所说的“超过 5 万标注帧”,对应的是能看到目标物体的帧数,不是 5 万个独立任务。

覆盖也不均匀。接瓶数据有 90 段记录,只有 24 段带物体轨迹;快速运动和遮挡还会制造跟踪缺口。速度标签来自二维像素位置的前向差分,不是三维真实速度。它适合测试视频编码是否比单帧位置多保留了运动信息,不能直接充当机器人在物理世界中预测速度的完整基准。

论文称 TEMPO-Bench 同时提供回归和多选题格式,但截至目标日期前的公开仓库,README 和文件树主要说明回归字段,没有给出可定位的多选题文件或运行说明。仓库许可证也仍写着“仅供内部研究使用”,并要求在对外发布前替换为正式条款。文件可以下载,不等于数据已经具备清晰的再分发与复用许可。

现在能下的结论,是时间信号值得单独建模

TEMPO 证明了一个比“模型再快一点”更具体的工程判断:动态操作至少需要同时知道外界怎么动,以及机器人自己做到哪一步。作者在同一 π0.5 模型家族和一套双臂平台上,让这两种历史信号在四项任务中产生了可观改善;代价只增加少量参数和约 1.5 毫秒的策略前向时间。

它还没有证明扩大模型无效。论文没有跨参数规模做系统对照,三组插拔实验也都围绕同一预训练模型家族;每种策略只报告一次训练后的 50 次执行,没有给出跨训练种子的波动。下一步真正决定这条路线能否泛化的,不是继续比较一个接瓶百分比,而是让独立团队在不同机器人、不同 VLA 底座和未修剪长流程上复现结果,并把 TEMPO-Bench 的题型、标注缺口和许可补齐。

来源

  • TEMPO: Learning Temporal Context for Dynamic Robot Manipulation · arXiv
  • TempoBench 数据仓库(2026-08-07 版本) · GitHub
  • VLASH: Real-Time VLAs via Future-State-Aware Asynchronous Inference · arXiv
  • Real-Time Execution of Action Chunking Flow Policies · arXiv

评论

登录后即可参与评论。

加载评论中…

相关文章

  • R2S-Eval流程图:从真实环境校准仿真、采集策略执行视频,再由视觉语言模型成对比较并用Bradley–Terry模型汇总排名

    用仿真视频给六种机器人策略排名,视觉模型与人工偏好一致率应为90.9%

    2026-09-03

  • Cobot Magic 双臂机器人一边收拾杯子,一边依次处理香蕉和胡萝卜,并在随后执行回忆指令

    机器人不再每回合失忆:ARMS 用异步上下文把组合成功率推至 45%

    2026-09-23

  • 论文对比的六种视频—动作因果结构示意图,蓝色表示视频查询,黄色表示动作查询,灰色方格表示被屏蔽的注意力连接

    扰乱未来画面影响很小,倒置时间顺序让机器人成功率最多降32.37个百分点

    2026-09-21

  • LIBERO-Recover项目页的场景分布图;图心标注2117个场景,与论文正文的2178个不一致
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

一个机器人模型在标准基准拿到97.1%,失败后续作不足四分之一

2026-09-05

  • DATAFARM 将任务与运动规划轨迹对齐到 VLA 预训练分布后用于微调的流程示意

    规划器明明会做任务,为什么教不会机器人模型

    2026-09-11

  • NIST装配任务板1,包含插销、齿轮、电气连接器和螺母等接触密集装配部件

    一个拿过80.6%的机器人失败检测器,平衡样本复评只剩0.53

    2026-09-03