一个机器人 Agent 已经在推理记录里认出了酒瓶,也收到了“不要碰撞”的明确要求。随后,它仍让机械臂沿最短路线横穿酒瓶所在的位置。
9 月 17 日发布的 SafeHarness 论文把这类失败放进一项可计分的机器人实验:编码 Agent 不直接输出每一步动作,而是写程序、调用感知与控制工具完成抓取和放置。研究者发现,安全要求留在提示词里时,Agent 可以复述规则,却不会持续用它约束后面的路径。于是,他们没有再加一句警告,而是把避障变成执行框架中必须通过的检查。
这项工作的核心判断很具体:对会调用工具并长时间运行的 Agent,提示词表达的是意图,不是约束。需要在第 300 步仍然成立的规则,应由执行接口在第 300 步重新施加。
“看见障碍”与“绕开障碍”是两件事
SafeHarness 建立在 Harness VLA 的分工上:语言模型负责理解任务、组织步骤和调用工具;冻结的视觉—语言—动作模型(VLA)只处理抓取、放置等接触密集的局部动作;自由空间移动则交给解析控制原语。原系统解决的是如何把一个冻结 VLA 变成可复用的局部技能,但它保存下来的成功轨迹来自没有障碍物的场景。
这带来一个反常识结果:技能让 Agent 更会完成任务,也让它更有机会撞上东西。SafeHarness v1 的消融实验中,GPT-6 主干单独控制机械臂时,任务成功率只有 6.0%,避碰率却有 50.0%;论文明确指出,后一个数字主要来自机械臂在到达障碍前就已失败。加入技能记忆和冻结 VLA 后,任务成功率升至 31.0%,避碰率只到 59.0%。“没有碰撞”只有和“完成任务”一起看才有意义。
论文给出的解释是上下文漂移。一次操作会累积数百步工具返回和图像,最早写下的安全要求逐渐远离当前决策。没有 SafeHarness 时,Agent 在开头提到酒瓶,后续计划却回到完成任务的最短路径。这个观察支持“约束要进入工具接口”的设计,但它仍是作者对轨迹的解释;论文没有用控制变量单独测量上下文长度对碰撞率的因果影响。
路线先通过几何检查,机械臂才允许移动
SafeHarness 把一次操作切成两部分。第一部分是接触前后的自由空间路线。系统先用分割模型把目标物和障碍物表示为边界框,再让 Agent 画出一串航点。候选路线不会立即执行:语言模型之外的验证器检查机械爪,以及机械爪拿起物体后的整体扫掠范围,是否与障碍框相交。检查失败就重新规划;执行中若机械臂卡住或偏离,也从当前位置重新规划。
第二部分是抓取或放置时的接触动作。安全路线只能把机械爪送到目标上方,最后的下降、闭合和释放仍可能扫到旁边的障碍。系统因此先判断障碍是否紧邻目标,若相邻,就从远离障碍的一侧接触;没有可行方向时,再调整夹爪朝向并垂直下降。
这两个组件不是传统意义上的完整运动规划器。v1 论文只用近似边界框检查单个指定障碍,也没有覆盖机械臂自身碰撞、速度、力、人体、感知误差或控制器失效。它证明的是一种工程位置选择:把持续约束放在动作获准执行之前,而不是要求语言模型在长上下文里一直记得。
320 次仿真里,约八分之一仍移动了障碍物
实验使用 SafeLIBERO。基准从 LIBERO 的 Spatial、Goal、Object 和 Long 四套任务各选 4 项,再为每项构造两个难度:障碍物紧邻抓取或放置目标,或直接放在自然运输路径上,共 32 项。SafeHarness 对每项运行 10 个随机种子,即 320 个仿真 episode。
论文用两个指标分别计分:任务成功率(TSR)表示目标条件最终成立;碰撞避免率(CAR)表示障碍物全程位移不超过 1 毫米。GPT-6 版本的 SafeHarness 报告 71.9% TSR 和 87.5% CAR。按 320 次运行换算,前者约对应 230 次完成任务,后者对应 280 次没有移动障碍物;仍有 40 次、也就是八分之一的运行触发了碰撞判定。
与同一 GPT-6 主干的“模型加技能”配置相比,SafeHarness 的任务成功率从 31.0% 提高到 71.9%,避碰率从 59.0% 提高到 87.5%。这组对照保持语言模型、技能记忆和冻结 VLA 不变,较能说明增量来自路线与接触两类 harness,而不是换了更强的底层策略。
作者还把结果与 SafeLIBERO 原论文中的 AEGIS 比较。AEGIS 用控制屏障函数在 VLA 已经给出动作后做修正,原论文在 1600 个 episode 上报告 67.5% TSR 和 68.9% CAR。SafeHarness 的 71.9% 和 87.5% 分别高出 4.4 和 18.6 个百分点;其摘要所写的“6.5% 和 27.0%”是相对增幅,不是百分点。
这个跨论文比较不能当成同场竞赛。SafeHarness 使用每项 10 个种子,AEGIS 使用每个场景 50 个 episode;v1 没有给置信区间,也没有在相同随机初始状态上重跑 AEGIS。更稳妥的结论来自同主干消融,而不是“超过上一代最佳”的排名。
这里的“安全”只是不移动一个已知障碍物
SafeHarness v1 的全部主结果来自仿真。它预先知道场景里哪个物体是障碍物,用单个轴对齐边界框表示几何关系,并针对平行夹爪设计接触侧选择。v1 论文及其 arXiv 关联项没有提供可复跑这 320 次实验的代码仓库或逐条轨迹,因此表格数字目前只能作为作者报告核验,无法独立复算。
更严格的机器人安全还要回答:障碍识别错了怎么办,规划器找不到可行路线时是否拒绝执行,机械臂与人接触时如何限制速度和力,以及感知和控制延迟会不会让已验证路线失效。SafeHarness 没有解决这些问题,也没有证明对开放家庭环境的安全性。
它真正推进的是 Agent 的责任边界。一个模型能够说出规则,并不等于它能在长时间执行中维持规则;一个更强的模型也不能替代动作前的确定性检查。接下来最关键的验证,不是再换一次语言模型,而是在相同种子、公开轨迹和真实机械臂上检验:当路径根本不可行、障碍感知不准或约束彼此冲突时,执行层能否可靠地停下来。


