一款专门训练来发现机器人操作失败的视觉语言模型，曾在自己的测试集上拿到 80.6% 准确率。问题是，那套测试数据中 79.7% 本来就是失败案例：即使不看视频、把每次操作都判成失败，也能得到 79.7%。
Metric AI Lab 在 2026 年 9 月 3 日公开的 FailBench，把这个成绩放进类别更平衡、来源更多的测试中重新计算。该模型 RoboFAC-7B 识别出全部 30 次失败，却把 30 次成功中的 28 次也判成失败，平衡准确率只剩 0.53。这个结果不是单一模型翻车，而是一次更广泛的提醒：机器人团队正在把 VLM 当作奖励、数据过滤器、策略评委和重试开关，部分判断器的成绩却可能夹带原数据集的类别比例与失败生成痕迹。
14个来源把“会做原题”改成“换台机器人还能判断”
早期研究已经把任务成败改写成视觉问答：给模型任务指令和执行画面，询问机器人是否完成目标。2023 年发表的 SuccessVQA 显示，预训练 VLM 在未见过的语言和视觉变化上可以超过定制奖励模型；此后，研究者开始为失败检测合成更多训练数据。Guardian 就从成功轨迹出发，修改计划、动作或配套指令，构造超过 3.6 万个带推理过程的样本，并在三套实机测试上报告领先结果。
FailBench 改变的不是提问方式，而是考场。它从约 30 个候选语料中筛出 14 个公开来源，包括 12 个真实世界来源和 2 个仿真来源，统一为“指令、视觉记录、二元结果”三项。2197 次操作中有 1176 次失败、1021 次成功；失败案例的 75% 是机器人或人类遥操作时自然发生，而非研究者事后改写指令或刻意制造。
这一步切断了最容易走的捷径。单一来源通常固定机器人、夹爪、相机、任务和标注方法；人工合成失败还可能留下特定痕迹。FailBench 则让同一个判断器跨越 UR5、WidowX、Franka、SO-100 和 SO-101 等机械臂，以及策略执行、人工遥操作和仿真轨迹。作者沿用各原始数据提供者的结果标签，并随机抽查约四分之一的样本；发现错误或含混标签时，用同一来源、同一分布的其他样本替换。
专用模型在原考场占优，换数据源后落到多数通用模型之后
研究团队测试了 13 种判断器：6 个通用 VLM、2 个经过具身任务训练但并非专做失败检测的模型，以及 5 个专用失败检测器。视频模型直接读取视频，其余模型读取均匀抽取的 32 帧。主指标是宏平均平衡准确率：先分别计算成功召回率和失败召回率的平均值，再让每个包含两类样本的数据来源获得相同权重；0.50 相当于随机猜测。
表现最好的 Gemini 3 Flash 得到 0.77，Gemma-4-31B-it 为 0.75。5 个专用检测器只有 Guardian 达到 0.63，其余依次为 0.62、0.59、0.51 和 0.50。除最小的 Qwen3-VL-2B-Thinking 外，所有通用模型都排在全部专用模型之前。
更直接的对照来自同一底座。研究团队用相同提示词、输入和解码方式，把 5 个专用模型与各自微调前的基础模型逐一比较，专用版本全部更低。降幅最大的 ViFailback-8B 比其 Qwen3-VL-8B-Instruct 底座低 0.088，RoboReward-8B 低 0.057；Guardian 在自己的两个来源上占优，去掉这两个“主场”后，成绩从 0.596 对 0.639 落后于底座。
RoboFAC 的 80.6% 则展示了普通准确率如何掩盖偏置。FailBench 在平衡样本上测得它的失败召回率为 1.000、成功召回率为 0.067；把这两个召回率重新按原测试集 960 次失败、244 次成功加权，得到 81.1%，与论文报告值仅差 0.5 个百分点。高分可以被复现，模型“会判断成功”却没有因此得到证明。
物体移动容易看见，插销是否插到底仍接近随机
模型之间的差距没有接触密集任务与普通任务之间的断层大。FailBench 最难的真实来源 REASSEMBLE 使用 NIST 装配任务板，包含对齐、抓取、旋转、插入和释放等动作。NIST 对这块任务板的定义包括插销插入、齿轮啮合、电气连接器插入和螺母旋紧；这些结果常由几十个像素里的缝隙、接触与深度决定。
13 个模型在 REASSEMBLE 子集上的平均平衡准确率只有 0.52，最好模型也只有 0.60。相比之下，若失败表现为拿错物体、物体没有移动或放错明显位置，模型更容易判断。作者手工查看错误案例后发现，模型有时已经在推理中指出“物体是在抽屉里，还是只到了抽屉口”这类关键疑点，最终仍选择成功；多相机输入也没有保证模型会用另一个视角纠正判断。
这部分机制解释来自对一小部分错误的非正式检查，主要围绕可读取推理过程的 Gemma-4-31B-it，不能当作全部模型的统计结论。论文真正量化的是结果断层：在这套纯视觉评测中，粗粒度位移比精细接触状态容易识别。
裁小画面能加2.3个百分点，却没有补上接触信号
研究团队随后让 Gemini 3 Flash 先看任务指令和四帧画面，框出决定成败的区域，再把固定相机画面裁到该区域交给同一个模型判断。13 个可计算平衡准确率的来源上，宏平均从 0.773 升至 0.797；论文表格按未四舍五入结果记为增加 2.3 个百分点，摘要将其写作 2.4 个百分点，实验通过 McNemar 检验得到 p=0.0015。
增益并不稳定。SimpleEnv 增加 10.7 个百分点，RoboArena 增加 7.0 个百分点，REASSEMBLE 只增加 2.3 个百分点；另有四个来源下降，其中失败样本单一的 REFLECT 不计入宏平均。裁剪解决的是“关键区域在整幅画面中太小”，没有教会模型从像素推断夹爪受力、插销深度或真实接触。
FailBench 本身也只覆盖桌面平行夹爪机械臂，判断的是一次执行结束后的二元结果，不测试坏计划、执行中提前预警、失败类型和任务进度。四个来源其实记录了力矩或音频，评测却只向模型提供视觉与指令。对于要把判断结果写回奖励、训练集或恢复流程的机器人团队，下一步不是直接换成榜首模型，而是分别报告成功与失败召回率，在自己的相机与任务上保留人工抽检，并为接触密集动作加入力觉、音频或任务专用传感器。能看见动作，不等于已经看见结果。
