模型可以判断应当接住落物,手却可能停在落点半米外。9 月 9 日提交的 ReactHuman 论文把这类差错放进物理仿真:七个多模态模型看完突发事件的短片,交出移动和伸手计划,再由仿真人形机器人执行。论文报告,在正确选择“接住”的决策中,手与物体落点仍有 0.48 米的中位偏差。对考虑把通用模型放进机器人决策环的团队,这比它能否说出“应该接住”更接近实际问题。
暂停场景,让模型交出能执行的动作
ReactHuman 覆盖物体掉落、家具倾倒、门猛然摆动、连锁碰撞等 17 类事件。研究者用语言模型选择物体和房间,再以随机种子决定位置、速度、摩擦与摄像机参数;Genesis 刚体仿真以 240Hz 运行,产生三路视角和用于评分的轨迹信息。模型通常先看约 0.6 秒的事件画面,仿真随后暂停,等待它输出行走速度、手部关键帧、意图与置信度。
提交计划后,模拟的 Unitree G1 恢复运动:预训练行走控制器管下肢,脚本层带动上肢。系统依据运动计划判定机器人是在接、躲,还是没有行动;实际执行还会显示手是否碰到物体、身体是否离开撞击区域。暂停仿真排除了不同模型 API 响应时间的影响,因此这里测的是同一决策时点的计划质量,尚未测真实设备必须承担的推理延迟。
这项工作的增量是把短时突发危险和空间落点放在同一套评测里。此前的 IS-Bench 已用可交互家庭任务检查风险缓解动作的先后顺序;ReactHuman 则把时间窗口缩到事件发生后约 0.6 秒,并要求模型给出可执行的移动轨迹。它也没有测试专门训练的视觉—语言—动作模型:论文中的七个对象是经统一接口调用的通用多模态模型。
“三分之一出错”只对应需要闪避的场景
论文从场景池中选出 306 个场景,每类 18 个,让七个模型各作一次决策;扣除四次 API 错误,共记录 2138 次决策。正确动作在评测子集中分为接住 141 个、闪避 156 个、不行动 9 个。五项指标分别检查动作类别、是否违反安全规则、手部终点距落点的距离、文本意图与动作是否一致,以及手在整条轨迹中是否靠近落点。
最需要辨明的是摘要里“约三分之一危险处置失误”的口径:论文正文报告,应当闪避的场景中,35.9% 的模型决策违反安全规则。在全部有效决策中,研究者记录 410 次违规,约占 19.2%;七个模型的平均动作类别准确率为 54.0%。这三个数字衡量的对象不同,不能合并成“家用机器人三分之一时间会造成事故”。即使只看动作类别,评测集总是选择“闪避”也能得到 51.0% 的准确率,因此接住与闪避两类必须拆开审视。
论文发现六个模型更倾向后退,另一个模型更愿意接;这种固定偏好能让一类场景得分较高,却会在另一类场景失手。小模型在这组测试中也没有持续落后于较大的模型。该结论只限于七个指定 API 版本、同一提示词与这 306 个模拟场景,不能推出模型规模对所有机器人安全任务无效。
选对“接住”,手也可能够不到
动作类别正确仍会掩盖空间误差。论文称,在正确选择接住的决策中,手部落点与目标落点的中位距离为 0.48 米;相关未接住案例里,89% 的手伸得不够远,近半数决策时机器人站在 0.8 米以外。模型给出伸手动作,却没有配合足够的移动,结果是语义判断正确、物理拦截失败。
另一组实验把物体外观与真实物理属性对调:泡沫制的重物外观、钢制的苹果外观等,要求模型根据运动线索而非外形决定反应。论文报告,40 个此类场景形成的 280 次决策中,没有模型在意图文本里质疑物体材质或重量;它们对伪装物的处理接近对真实外观物的处理。这个观察说明外观先验在这组测试中压过了运动信息,但意图指标本身采用关键词匹配,不能单靠“没有说出质疑”断定模型内部完全没有识别异常。
公开数据能核对场景组成,暂不能重算模型成绩
论文指向的 Hugging Face 数据仓库是元数据版。逐行核对公开的 metadata.jsonl,可数出 1054 个场景、17 类事件,以及 40 个标记为外观与物理冲突的场景;四档速度分别有 266、266、264、258 个。仓库没有提供用于这 306 个评测场景的模型输出与执行视频,因此这些元数据足以核对场景构成,尚不能独立重算 35.9% 的安全违规率或半米偏差。
还需要澄清版本关系:数据卡把第三类标准动作写作 BRACE_FOR_IMPACT,共 324 个;论文评测协议则使用 No_Action,其 306 个场景中仅 9 个以不行动为正确答案。两套标签和样本数量不能直接合并,公开材料也没有给出它们之间的映射。对准备复用基准的团队,先确定评测集、动作定义和视频版本,比照搬论文成绩更要紧。
ReactHuman 揭示了一个可操作的评测缺口:机器人安全决策不能止于选对“接”或“躲”,还要检查移动距离、拦截点和危险是否真的避开。下一步若要把它用于真机准入,需要公开可复核的评测轨迹,并把推理延迟、连续观察、柔性或易碎物体和真实控制器纳入测试;现有成绩仍是一次暂停观察、一次开放环计划在刚体仿真中的结果。

