研究者展示对抗图案:让监控 AI 漏检车辆,效果仍受场景限制 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

研究者展示对抗图案:让监控 AI 漏检车辆,效果仍受场景限制

2026-08-10 / 共 3,071 字

Bill Swearingen / Donut Media

8月8日,拉斯维加斯 Def Con 会场外,一辆2009年丰田 Yaris 全身覆盖着密集的几何图案,缓缓驶过一台 Flock Safety 车牌识别摄像头。摄像头正常录像,但演示画面没有出现车辆检测框。

开车的是安全研究员 Bill Swearingen。这个名为 noRecognition 的项目是他过去一年的全部工作成果:训练一个强化学习模型去"学画画"。据他介绍,生成的图案在物理测试中干扰了 Flock、Axon 和 Clearview AI 所用检测算法。这三家公司都向美国执法部门提供监控相关产品。

对抗性机器学习在学术界已讨论近十年。noRecognition 则尝试把研究做成消费品:项目经过了 3100 万次训练迭代,在 Black Hat 发表技术演讲,在 Def Con 公开演示,并正在通过 Kickstarter 销售印有图案的 T 恤和卫衣。公开演示展示了可行性,但还不能代表各种日常场景下的效果。

反复生成和测试图案,让检测模型漏检

noRecognition 的核心是一个强化学习系统。Swearingen 没有手工设计图案,而是让模型自己探索:生成一种图案,放到11个开源检测模型前测试,根据检测置信度的下降幅度给反馈,然后调整参数继续尝试。

这一过程的技术基础可以追溯到2019年。比利时 KU Leuven 的 Simen Thys 等人发表在 CVPRW 上的论文首次证明,打印出来的对抗性补丁可以让 YOLOv2 行人检测器失效。2020年 ECCV 上的"对抗性 T 恤"研究进一步考虑了人体姿态变化对图案的拉伸和扭曲,在物理世界实现了57%的攻击成功率。但这些早期工作的共同局限是:对抗性图案通常是针对单一模型优化的固定补丁,跨模型效果和日常穿着的自然程度都受到限制。

Swearingen 的改进在于规模化。他告诉 TechCrunch,Digital Sandbox KC 为他提供了远超家用设备的算力支持,将原本需要七年的计算压缩到三个月。3100万次迭代产生了570万个标注结果,据他介绍,生成的图案能干扰11种检测算法,包括 Flock 车牌读取器、Axon 执法记录仪和 Clearview AI 人脸识别所用的模型;外观也逐渐接近日常服装上的印花。

目标检测模型会从图像中提取多层特征,再判断目标的类别、位置和置信度。Swearingen 在 Dark Reading 的采访中解释了攻击原理:"从'是人'到'不是人'的边界,可以通过对人类来说几乎无法察觉的微小图像变化来跨越。这就是高频图案如此有效的原因。"这类图案试图干扰模型提取和组合特征,使画面中仍然可见的人或车辆被漏检。

系统还在持续生成新图案。Swearingen 表示系统"每一分钟都在生成新图案,每一批都在数学上优于上一批"。图案公开后,摄像头厂商可以将它用于对抗训练,改进检测模型。但生成新图案和更新防御谁更快,仍需实际测试,不能仅凭持续生成就断言攻击方始终领先。

车辆、人形和人脸检测,各自在哪一步受影响

Flock Safety 的车牌识别摄像头在美国超过5000个社区部署,是执法部门追踪车辆的核心工具。它的检测流程在摄像头端完成——为了实时响应,模型必须轻量化,运行在设备的有限算力上。

Axon Body 3 和 Body 4 执法记录仪的 Smart Detection 功能会自动在录像中标记出现人体的时刻。根据 Axon 官方文档,最佳检测距离是3到10英尺,依赖光照条件,且"识别的是人形而非身份"。

Clearview AI 拥有超过700亿张从互联网抓取的面部图像数据库,其算法在 NIST 测试中达到99%以上的准确率。但它的匹配引擎依赖上游的人脸检测步骤——如果前面的步骤被突破,后面再精确的匹配也无从谈起。

Swearingen 将这些检测环节的弱点归因于计算约束:设备端或前端的模型需要在精度、速度和资源消耗之间取舍。Dark Reading 引用他的话说:"这些神经网络有点像 Siri 而不是 Claude——它们被故意做小了。"

Def Con 的现场演示暴露了另一个关键问题:即使厂商事后得知攻击的存在,修复也不是一件简单的事。这类问题涉及模型如何识别图像。对抗训练是一种改进办法,即用对抗样本重新训练检测模型,但会增加成本,也可能影响正常场景下的检测精度。模型更新后,攻击方还可能生成新的图案,因而一次修复不代表长期有效。

对抗服装已有先例,公开测试仍需看具体场景

对抗性服装并不是一个全新概念。过去几年出现了多个品牌:意大利的 Cap_able 推出过让 AI 把人识别为斑马或长颈鹿的针织衫(780美元一件),德国的 Urban Privacy 在卫衣帽子里嵌入红外 LED 来干扰夜视摄像头,英国的 Vollebak 也在探索类似方向。7月的《卫报》报道称,这类服装"正在走向主流"。

但这些产品面临两个根本问题。第一,部分产品缺少公开测试数据。noRecognition 的项目页面则公布了测试方法、控制条件(图案必须比相同面积的纯色布料表现更好)、留出验证集(30个未参与训练的被试者)以及失败案例。第二,CV Dazzle 类的面部彩绘和红外眼镜在功能上或许有效,但在社会场景中极度引人注目,而 Swearingen 的目标是"你坐在我旁边都看不出我穿的是对抗性服装"。

值得注意的是,学术界对物理世界对抗攻击的可迁移性一贯持谨慎态度。2024年一篇发表在 arXiv 上的系统评估指出,光照条件、视角、距离和颜色变换等变量会显著影响对抗性补丁的实际效果。Def Con 的现场测试也暴露了 noRecognition 的局限——车轮部分仍能被检测到,因为车轮的几何形状和运动模式可能提供了额外的检测线索。

新图案与模型更新的竞争,尚无稳定防护结论

对抗性攻防本质上是一个不对称博弈。攻击方只需要找到一个有效图案,防守方则必须堵住所有可能的攻击路径。持续生成新图案可能加大防御难度——Swearingen 有意不公开发布最强图案,只保留在内部迭代优化。这也意味着厂商不能仅依赖已公开的图案,还需要主动测试自己的系统。

但如果对抗性服装真的规模化,博弈的性质可能改变。Vollebak 的联合创始人 Nick Tidball 在接受《卫报》采访时表示:"如果这类服装被证明真的有效,它很快就会政治化——然后可能被禁止。"事实上,反面部识别口罩和眼镜在某些司法管辖区已经处于灰色地带。如果相关限制扩大,销售这类服装的商业模式也会受到影响。

从技术角度看,另一种可能的防守思路是调整检测架构。例如在设备端保留轻量检测的同时,对可疑的检测失败触发云端更重型模型的多模态复核——但这样做会推高基础设施成本,与监控系统"全覆盖、低成本"的商业逻辑冲突。

从演示到服装销售,还需检验可靠性与需求

noRecognition 尝试将干扰监控检测的技术制成消费品。除了技术能否稳定生效,消费者的使用需求、厂商的应对和可能的监管限制,也将影响项目能走多远。

采访中,Swearingen 反复强调他的动机是隐私权利而非反技术。他的家乡 Kansas City 的摄像头密度已经到了"有时相隔几英尺就有一台"的程度。他说自己作为一个中年白人男性并没有感受过因为身份被误判的威胁,但他去年想去参加一场抗议时,突然意识到无处不在的摄像头让行使宪法权利变得令人不安。

目前,对抗性服装仍然是一个小圈子的实验。但如果 Swearingen 的强化学习模型真的能持续产出更有效的图案,如果 Kickstarter 上的第一批产品证明了市场需求,那么围绕这件事的法律、商业和技术竞争才刚刚开始。接下来需要观察的是:首批服装在日常环境中的实际效果、更多独立复现,以及围绕其使用产生的监管讨论。

来源

  • This 'adversarial' pattern can prevent surveillance cameras from detecting you · TechCrunch
  • Can Clothes Make You Invisible to Facial Recognition? · Dark Reading
  • noRecognition Project Page
  • No Recognition: Founder speeds up anti-surveillance tech in face of mass identity sweeps · Startland News
  • Fooling Automated Surveillance Cameras: Adversarial Patches to Attack Person Detection · CVPRW 2019
  • 'Adversarial clothing': are garments designed to confuse facial recognition systems about to go mainstream? · The Guardian
  • Adversarial T-shirt! Evading Person Detectors in A Physical World · ECCV 2020

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 一条发绿光的链条,其中一环被突出显示,隐喻 LLM 安全链中的薄弱环节

    伪造推理能骗过大模型,角色标签为何挡不住提示注入

    2026-07-30

  • NavSafe-∞ 官方题图:同一开环轨迹进入闭环后形成违规、碰撞、驶离道路和到达终点等不同结果

    同一套训练补救,闭环结果一升一降:NavSafe-∞ 重排自动驾驶

    2026-10-09

  • AI 安全测试沙箱概念图

    多款 AI 模型在安全测试中越界,沙箱隔离与实时监控受到质疑

    2026-08-10

  • Apple「The Illusion of Thinking」论文主图,展示推理模型在复杂性增加时思维 token 使用量反而下降的反直觉现象
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

本地视觉模型测试:受测 Qwen 配置关闭推理后得分更高

2026-06-25

  • Neverwhere 中真实扫描、3D Gaussian Splatting 近景与完整仿真场景的对照

    机器人先在 67 座数字场景里试错,逼真仿真仍没消除泛化缺口

    2026-09-14

  • AGOS-Bench 数据集规模与无人机、地面车协作搜索场景示意

    无人机先找、地面车再验,AGOS-Bench 把协作拆成可测闭环

    2026-09-08