外观没变,物理被改了:碰撞网格投毒让机器人在现实中失手 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

外观没变,物理被改了:碰撞网格投毒让机器人在现实中失手

2026-09-16 / 共 2,307 字

Xu et al. / arXiv

一个机器人策略在仿真里顺利完成抓取,换到外观和尺寸相同的实体后,成功率却大幅下降。摄像头看到的物体没有变,训练代码也没有被篡改;变化藏在 3D 资产里一层通常不会显示给人的几何——碰撞网格。

9 月 16 日,香港科技大学和浙江大学研究者提交了碰撞网格投毒(Collision Mesh Poisoning,CMP)论文。他们只修改碰撞网格,让策略在带毒仿真中保持正常表现,再把同一策略放到三种 3D 打印物体和 Franka 机械臂上。受控真机实验中,正常策略平均成功率为 93.33%,投毒策略降至 31.67%,相差 61.67 个百分点。

这项工作的增量不是再次证明机器人存在 sim-to-real 差距,而是展示了一条更具体的供应链路径:攻击者可以把错误物理藏进看起来完全正常的资产,训练和验收又使用同一份资产,导致测试环境替攻击者重复了同一个谎言。

看不见的碰撞网格,才决定机器人在哪里接触物体

仿真中的 3D 物体通常包含两套几何。视觉网格交给渲染器,决定屏幕里的外观;碰撞网格交给物理引擎,决定夹爪何时接触物体、接触力如何产生。两者本来就不必完全一致:直接用高精度表面计算碰撞成本较高,工程师常把碰撞网格简化成少量凸包。

这种差异不是异常,而是仿真基础设施的正常设计。MuJoCo 的模型文档把纯视觉几何与参与物理计算的几何分开处理,也可为用于碰撞的网格生成凸包。杯把、抽屉把手等接触区域又要求碰撞近似足够准确,供应商因此会提供人工调整过的碰撞网格,模拟器不能一概丢弃后重新生成。

CMP 利用的正是这段合理空间。攻击者保留视觉网格,把碰撞边界向内或向外平滑变形。机器人在仿真里学习的是被改写的接触位置;来到真实物体前,夹爪仍按错误边界行动。普通人工预览看不见变化,文件也可以没有恶意代码。

攻击者不用接触训练代码,只要资产进入训练链路

论文设定的是严格黑盒攻击:攻击者不知道受害者使用哪种机器人、强化学习框架、具体任务或真实环境,也不能查询目标策略。他只需制作一份能被物理引擎接受的碰撞网格,并通过公开资产渠道让开发者下载。

为同时满足“仿真里看起来正常”和“换回真实几何后失败”,研究者没有直接训练受害者策略来搜索。他们先用脚本执行抓取等基础动作,在带毒几何与正常几何之间比较结果,再用无梯度优化迭代候选形状。九种 YCB 物体的单物体抓取实验中,投毒策略在带毒仿真里的平均成功率为 89.09%,接近正常资产训练策略的 88.57%;换回正常碰撞几何后,成功率平均下降 56.09 个百分点。

这一设计把已有几何脆弱性研究推进到供应链层。2025 年的机器人几何红队研究已经表明,外形扰动能把真机任务成功率从 90% 压到最低 22.5%;CMP 不要求真实物体被做成对抗形状,而是让视觉外观和真实物体保持不变,只污染训练时的物理表示。

同一批带毒网格换到 OpenArm 和 PiPER 两种机械臂后,三种物体的平均成功率降幅分别为 40.20 和 75.60 个百分点;换训练框架或另一款模拟器,退化也没有消失。多物体策略中,目标物体平均下降 42.6 个百分点,其他物体平均下降 4.9 个百分点,说明实验里的影响主要集中在被改动的资产,而不是让整套策略普遍崩溃。

真机验证关闭了一个缺口,也留下了现实部署边界

真机实验选择糖盒、芥末瓶和杯子,每种物体取 20 个初始姿态,每个“策略—姿态”组合重复三次,共 360 次试验。研究者使用已知物体姿态生成动作,并以多数票判定结果,尽量把视觉定位误差与普通 sim-to-real 误差排除出去。三种物体的成功率降幅分别为 90、70 和 25 个百分点;观察到的后果是抓取失败、物体掉落或倾倒,没有造成人员和设备损伤。

因此,61.67 个百分点是三个常见物体、受控摆位和单台 Franka 机械臂上的平均差值,不是工厂事故概率。论文没有测试原生材质、完整闭环感知或危险物品,也没有覆盖不依赖接触的导航任务。研究团队明确表示尚无公开记录显示现实系统遭遇过此类攻击,实验资产从未上传到公共平台。

复现条件同样有限。为配合仍在进行的责任披露,论文匿名处理了相关模拟器和资产平台,省略部分攻击超参数,也没有发布生成投毒资产的工件。这意味着外部研究者目前可以核对方法与结果,却还不能按公开代码重跑整条攻击链。

现成检测器能找到异常,也会拦下大量正常资产

直接比较两套网格并不等于能判定恶意。研究者在 78 个正常 YCB 资产和 9 个投毒资产上测试四种几何指标;把误报限制在 4 个正常资产、即 5.13% 时,表现较好的指标也只检出 3 个投毒资产,至少漏掉 6 个。

让视觉模型看多视角的视觉网格与碰撞网格对照图,结果也没有形成可部署的阈值。GPT-5 和 Qwen3-VL 都找出 9 个投毒资产中的 7 个,却分别把 78 个正常资产中的 41 个和 43 个判成可疑;GPT-4o 只检出 4 个,同时误报 66 个。样本量很小,但已经说明“差异大”不能直接等同于“恶意”:复杂把手、凹槽和接触面本来就会产生合理差异。

论文的防御实验更适合被理解为单点筛查器的失败,而不是资产审核无解。几何指标可以负责初筛,人工复核需要同时看到视觉网格、碰撞网格和预期交互;训练链路还应记录两套网格的来源与哈希,对外部资产做版本差异审计。更关键的是,验收不能继续与训练共用同一套碰撞几何:对关键接触任务,应使用独立重建的碰撞近似、不同模拟器或小规模真机验证,检查策略是否只在供应商提供的那套物理里成立。

碰撞网格投毒真正改变的不是“机器人会不会被骗”这个宽泛问题,而是资产审查的边界。一个 3D 文件即使没有恶意代码、外观正常,也能在仿真中跑通,仍可能改变策略学到的物理规则。接下来决定风险能否被压住的,不是再增加一次肉眼预览,而是能否把碰撞几何的来源、变更和跨环境验证纳入发布门禁。

来源

  • “Your Robot Was Trained on a Lie”: Collision Mesh Poisoning Attacks on Robotic Manipulation · arXiv
  • Geometric Red-Teaming for Robotic Manipulation · PMLR
  • MuJoCo XML Reference · MuJoCo

评论

登录后即可参与评论。

加载评论中…

相关文章

  • R2S-Eval流程图:从真实环境校准仿真、采集策略执行视频,再由视觉语言模型成对比较并用Bradley–Terry模型汇总排名

    用仿真视频给六种机器人策略排名,视觉模型与人工偏好一致率应为90.9%

    2026-09-03

  • Neverwhere 中真实扫描、3D Gaussian Splatting 近景与完整仿真场景的对照

    机器人先在 67 座数字场景里试错,逼真仿真仍没消除泛化缺口

    2026-09-14

  • FolDeX 数据组织与 FoldChallenge 实机评测流程示意图

    机器人折衣不只需要成功示范:FolDeX 把失败恢复做成实机赛道

    2026-09-11

  • SafeHarness 在桌面机械臂任务中绕开障碍物完成抓取与放置的流程对比
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

机器人 Agent 看见酒瓶仍会撞上,安全约束不能只写在提示词里

2026-09-17

  • ReactHuman 流程图:场景生成、模型规划与仿真人形机器人执行

    接住落物这道题,机器人选对动作仍可能差半米

    2026-09-09

  • LIBERO-Recover项目页的场景分布图;图心标注2117个场景,与论文正文的2178个不一致

    一个机器人模型在标准基准拿到97.1%,失败后续作不足四分之一

    2026-09-05