一只机械臂把方块送向容器，夹爪却在半路松开。对人来说，物体掉落一眼就能看出；对只见过“抓取失败”的视频检测器来说，换成倒米或套环任务后再遇到“碰撞”或“放置失败”，异常的运动和场景都变了。
这正是 9 月 15 日公开的 RoboVAD 基准刻意制造的压力。作者让测试阶段的任务与故障类型同时不出现在训练集中，9 种方法的帧级 micro-AUC 最高只有 67.4%。同一套实验里，作者的监督模型在熟悉任务和熟悉故障上达到 94.6%，到了双重跨域设置只剩 66.7%，相差 27.9 个百分点。
这不是说机械臂只有六成多的任务能成功。RoboVAD 衡量的是监控模型能否给异常帧排出更高分，而不是机械臂是否完成任务。它揭示的缺口更具体：当机器人进入训练数据没有覆盖的动作和错误组合时，原本负责触发暂停或恢复的视觉监控层，也会遭遇自己的分布外问题。
62 万帧把“新任务”和“新故障”分开测试
RoboVAD 来自真实桌面机械臂，而不是仿真。作者用一套 SO-ARM101 主从遥操作系统采集 1078 次执行，两台固定相机以 1920×1080、每秒 30 帧同步记录。数据共 620,979 帧、5.75 小时，其中 34,900 帧被标为异常，占全部帧的约 5.62%；这些帧组成 1570 个有起止时间的异常事件。
五种任务分别是单方块搬运、多方块搬运、堆叠方块、倒米和套环。五类异常包括抓取失败、碰撞、放置失败、物体掉落，以及本应释放却仍留在夹爪中。异常既可能来自遥操作失误，也可能由采集者主动制造。一次执行可以连续出现多个异常，甚至在发生异常后仍完成目标，因此这里的标签描述的是某段物理交互出了问题，不是整次任务的成败标签。
数据按完整执行划分，来自同一次执行的两个视角不会被拆到训练集和测试集。单方块搬运、多方块搬运和堆叠进入源任务；倒米与套环只用于测试新任务。训练集中的已见故障是物体掉落和抓取失败，碰撞与放置失败则留给测试。由此形成四种协议：任务和故障都见过、只换故障、只换任务，以及两者同时更换。
这个设计比简单地多收几段失败视频更重要。此前的 Handover 数据集聚焦人机交接，用视频、力矩和机器人状态判断交接结果；BotFails 覆盖 10 种家庭和工业任务，并进一步区分无害异常与真正影响任务的失败。RoboVAD 的增量，是把任务迁移和故障类型迁移正交拆开，并统一为逐帧定位问题，让“见过什么”成为可控制的实验变量。
双重跨域让榜首易位，也让监督优势消失
作者比较了机器人故障检测、自监督视频异常检测、弱监督检测和语言引导检测等方法，并提出两种以光流为输入的 FlowJigsaw。监督版使用训练集中的正常与异常片段；自监督版只学习正常运动，通过时间方向、运动扰动和补全任务形成异常分数。
结果没有出现一套方法从熟悉场景一路领先。熟悉任务和故障时，FlowJigsaw-Supervised 的 micro-AUC 为 94.6%，是该列最高值；只换故障时，只学习正常运动的 FlowJigsaw-SSL 反而以 79.6% 领先；只换任务时，监督版以 72.0% 居首；任务和故障一起换掉后，自监督版以 67.4% 成为最高值。UR-DMU 也从熟悉设置的 88.5% 降到双重跨域的 63.9%，减少 24.6 个百分点。
这里的 AUC 是随着报警阈值变化，将真阳性率与假阳性率的权衡汇总成一个数。micro-AUC 把所有帧汇总后计算，较长视频贡献更多；macro-AUC 则先按每次执行计算再平均，让每次执行权重相同。双重跨域时，micro-AUC 最高的是 FlowJigsaw-SSL 的 67.4%，macro-AUC 最高的却是 UR-DMU 的 71.9%。所谓“最佳方法”取决于究竟更重视总体帧，还是每次执行都被平等对待。
光流消融进一步说明，显式运动信息在这批数据上很重要。监督模型只看 RGB 时，熟悉设置和双重跨域的 micro-AUC 分别为 49.9% 和 35.1%；换成双视角光流后升至 94.6% 和 66.7%。自监督模型也从 50.0% 和 32.5% 升至 73.6% 和 67.4%。这组结果支持“运动偏离比单帧外观更适合这批机械臂故障”的解释，但只来自作者两种模型的内部消融，不能外推为所有机器人监控系统都应舍弃 RGB。
排名本身也不宜过度解读。双重跨域 micro-AUC 的前两名只差 0.7 个百分点，论文没有报告多随机种子重复结果、标准差或置信区间。不同协议包含的任务、故障和帧分布也不同，部分较弱方法在双重跨域上的 AUC 反而高于熟悉设置；这说明四列适合回答各自场景下谁能把异常帧排在前面，不适合直接当作难度等距的统一阶梯。
AUC 还不是一套能接管安全闭环的报警器
RoboVAD 把此前容易被混在一起的两件事拆开了：检测器是否看见视觉偏离，以及这段偏离是否值得机器人停机。BotFails 配套的 FIDeL 正是先找异常，再用语义过滤排除背景变化等无害偏离。RoboVAD 的标签已经收窄到真实物理操作故障，但评测仍只要求模型给每一帧打分，没有把分数变成实际的暂停、求助或恢复动作。
这也是 67.4% 最容易被误读的地方。数据中异常帧只占约 5.62%，论文没有为部署选择固定阈值，也没有报告该阈值下每小时误报多少次、漏掉多少次故障、异常发生后多少毫秒报警，以及报警能否提高最终任务成功率。评测使用重叠视频片段离线计算分数，作者也把在线检测和机器人恢复留作未来工作。因此，它能证明当前方法在新任务与新故障组合上排序能力有限，不能证明某套系统已经或尚未达到现场安全要求。
数据边界同样明确：全部视频来自一套 SO-ARM101 和一个桌面环境，只有五种任务、五类故障；两名作者只对 50 次执行做了独立复标，逐帧标签和异常类别的一致性系数分别为 0.79 和 0.71。Zenodo 已开放一个约 6.86GB、CC BY 4.0 许可的数据包，但论文仍是首版预印本，尚无第三方复现结果。
RoboVAD 真正把下一步问题变得可测量：在更换机器人本体、相机、场地和控制策略后，跨域排序是否仍成立；选定报警阈值后，误报、漏报和延迟能否满足具体工作流；接入恢复策略后，监控是否真的减少损失。只有这些指标与帧级 AUC 接上，视觉异常检测才从一张排行榜变成机器人可以依赖的运行时防线。
