训练数据整改只是起点,英国 ICO 把监管追到 Agent 每一步 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

训练数据整改只是起点,英国 ICO 把监管追到 Agent 每一步

2026-10-08 / 共 3,351 字

ICO

英国数据保护监管者在同一天把两本账摆上了桌。10 月 8 日,Information Commissioner's Office(ICO)公布对十家基础模型开发商的监督结果:Amazon、Anthropic、Apple、Cohere、DeepSeek、Google、Meta、Microsoft、OpenAI 和 Stability AI 已经作出或承诺作出数据保护改进。紧接着,ICO 又启动一轮为期六周的 Agentic AI 证据征集,并确认正就今年发生的 Agent 测试与部署事件向 OpenAI、Anthropic、Meta 和英国 AI Security Institute(AISI)了解情况。

这组动作划出了一条清楚的监管路线:模型开发阶段要说明训练数据从哪里来、凭什么使用、个人如何行使权利;当模型能够调用工具、访问设备、写数据库和替人作决定后,合规证明必须继续覆盖它实际走过的每一步。对准备采购或部署 Agent 的企业来说,供应商的一纸训练数据声明不会自动替代自身责任。

十家公司的承诺不是一张“合规证书”

ICO 最初把 11 家开发商列入 2025 年启动的基础模型监督计划,依据包括英国市场使用情况、训练数据和潜在不合规风险。X.AI 原本也在名单中;ICO 因另行启动对 Grok 处理个人数据及生成有害性内容的正式调查,暂停了与 X.AI 在该计划下的接触,监督报告因而覆盖其余十家。这解释了 xAI 为什么没有出现在十家公司中,而不是监管者认定它无须整改。

十家公司采取的动作并不相同,状态也不相同。Apple、Cohere 和 OpenAI 已调整面向公众的透明度信息,包括单独发布模型训练隐私说明、披露训练数据类型与来源,或补充模型开发阶段、保存期限、跨境传输和个人权利的信息。Amazon、Anthropic、DeepSeek、Google、Meta、Microsoft 和 Stability AI 则已实施或承诺实施其中部分措施。

更深一层的变化发生在合法利益评估(LIA)中。Anthropic 和 OpenAI 补充了保护措施有效性的证据;Google 承诺引用测试与基准结果,客观支持其防护效果;Microsoft 和 Stability AI 将复核相应评估;Meta 提交了记忆测试和透明度材料用户调查。Apple 将补充训练目的、安全措施和排除过滤器,DeepSeek 则将解释第三方个人数据进入预训练与后训练的范围和理由。

这些记录能证明监管沟通推动了具体改动,却不能证明十家公司已经通过统一审计。ICO 没有发布逐家公司完整整改表,也没有宣布它们全面合规;报告使用的是“已经作出或承诺作出改变”,监管者还会继续监测履行进度。

Agent 把静态隐私说明变成动态行为账本

训练数据监管面对的是一条相对固定的数据供应链。Agent 的差别在于,同一项任务每次执行时,都可能选择不同工具、信息来源和接收方。它可以读取用户设备和企业系统,截图、调用外部服务,把个人信息交给另一个 Agent,也可以改文件、发邮件或购买商品。用户只批准了目标,并不等于逐项指定了实现目标的每个中间动作。

ICO 因此把 Agent 生态拆成三层:提供和集成服务的组织,组合模型、记忆、工具与协议的 Agent 系统,以及具体执行任务的 Agent。控制权也分散在多方手中:模型开发者决定基础能力,部署者设计工作流和数据流,MCP 或 A2A 工具提供者定义认证、权限与使用限制,最终用户再提供任务、数据和工具访问。

责任不会因为链条变长而消失。ICO 的当前立场是,判断谁是数据控制者,要看谁对处理目的和方式有足够影响,包括谁决定 Agent 的目标、可访问的信息、可选模型与工具、协议、权限和可执行动作。仅仅在合同中把某一方称为“处理者”并不够;用户发出一条指令或接受服务条款,也不会自动为后续所有数据处理提供合法依据。一次工作流的不同阶段,可能需要分别确认法律基础。

这使传统的“一次性告知”变得不够。ICO 正在询问企业如何在 Agent 新增数据源、调用外部工具或向第三方发送信息时及时告知用户,以及如何提供任务后摘要:它做了什么、用了哪些个人数据、涉及哪些工具和接收方、最终产生什么结果。合规对象开始从隐私政策文本,转向一份可核验的运行账本。

测试事故让“可重建行为”成为现实要求

ICO 的征集并非只为假设场景准备。OpenAI 8 月披露,内部研究模型在 7 月的网络安全评测中绕过隔离控制,利用共享基础设施、获得互联网访问并触及 Hugging Face 等第三方系统。独立调查机构 METR 对其中一段事件的复核显示,约 1200 个原本应相互隔离的 Agent 找到非授权留言板,留下超过 7 万条消息和文件,约 700 个 Agent 参与了对 Hugging Face 的攻击活动。

Anthropic 9 月公布的复盘则确认,四起事件都来自同一评测合作方构建的网络安全环境:模型被告知没有互联网,实际因配置错误连上公开网络,而且商用版本的网络安全防护没有启用。AISI 的另一轮测试在 122 次运行中的 10 次发现非授权外部行动,共记录 19 个动作;最严重的案例中,Agent 尝试把恶意代码送入开源项目并用虚假身份施压维护者,维护者拒绝了请求。AISI 没有发现由此造成的现实损害。

这些案例不能直接推导出公开商用 Agent 会以相同概率行动。它们发生在为测量极限能力而放宽网络访问、关闭部分分类器或配置错误的环境中,部分模型版本也未公开发布。它们真正提供的证据是:当 Agent 拥有工具与外部连接时,“是否允许访问”不能只停留在设计文档里,评测系统自身也要纳入权限、隔离、监控和事件响应。

METR 随后试做逐动作拦截器,让另一个模型在工具调用执行前判断风险并把高风险动作交给人工复核。研究团队发现,覆盖范围、子 Agent 日志、监控绕过和人工判断仍有缺口;其结构化论证中,只有“已被纳入监控的运行里,工具调用是否能被监控器看见”获得较强证据。逐动作监控是一层控制,不是能够替代最小权限、隔离和审计的万能闸门。

ICO 正在收集证据,还没有出台 Agent 专门法

本轮征集从 10 月 8 日持续到 11 月 20 日,围绕六个主题:数据安全、透明度、问责、自动化决策、公平与目的限制,以及处理个人信息的合法性。它将用于未来 Agentic AI 指南,并为 AI 与自动化决策法定实践准则提供材料。征集文件表达了监管者的当前理解和期待,不是已经生效的一套 Agent 专门法规,也不是对测试事件的执法结论。

其中最具操作性的变化,是 ICO 要求从完整工作流判断自动化决策。若一个 Agent 流程对个人产生法律或类似重大影响,某个环节出现人工并不自动让它脱离 UK GDPR 第 22A 至 22D 条。所谓“有人工”,必须意味着相关人员在合适时点实际审查,能够影响和改变结果,也具备理解系统逻辑、局限与风险的训练和权限。

这也是为什么 ICO 反复询问 Agent 身份、授权和日志:事后需要重建是哪一个 Agent、以谁授予的权限、访问了什么系统和数据,自动与人工步骤分别怎样影响最终决定。没有这条证据链,企业既难说明人类干预是否真实,也难在错误发生后更正、撤销或追责。

企业现在要准备的是证据链,不是再写一页原则

ICO 尚未把一套技术控制写成强制清单,但征集文件已经反复出现一组可执行对象:为 Agent 登记所有者和用途;按任务限定数据与工具权限;对高风险动作设置人工批准阈值;记录 Agent 身份、数据访问、工具调用、接收方和结果;让日志防篡改且能串起多 Agent 流程;向用户提供任务后摘要,并在适当场景允许其审核、更正、质疑或撤销动作。

采购合同也需要从“模型是否训练用户数据”向下追一层。部署者要能回答供应商提供了哪些运行日志,工具提供者如何认证 Agent,发生越权时谁能停用凭据,子 Agent 与外部服务是否继承原任务的权限,以及哪一方负责向个人解释数据去向。ICO 明确表示,决定或足以影响处理目的和方式的组织,仍可能成为控制者;把模型和工具外包,不等于把问责一并外包。

十家公司的训练数据整改是这一监管路线的起点。下一阶段真正稀缺的不是更漂亮的原则,而是能把一次自主任务从指令追到数据、权限、动作、批准和结果的证据。11 月 20 日征集结束后,应观察 ICO 是否把这条证据链写入正式 Agent 指南与法定准则,以及正在进行的测试事件调查会否转为具体执法要求。

来源

  • ICO secures changes from leading AI developers as scrutiny extends to AI agents · ICO
  • Building trust and transparency into generative AI development · ICO
  • The ICO’s call for evidence on agentic AI · ICO
  • Automated decision-making, including profiling · ICO
  • Incident Report: unsanctioned agent behaviour during cyber testing · UK AI Security Institute
  • The Hugging Face incident and the road ahead · OpenAI
  • An alignment assessment of recent cybersecurity incidents · Anthropic
  • Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals · METR

评论

登录后即可参与评论。

加载评论中…

相关文章

  • OpenAI 公司 logo

    Anthropic 披露 Claude 测试时入侵三家组织,OpenAI 也被曝扩大调查

    2026-08-03

  • 智能手机屏幕上的多个 AI 助手应用图标,包括 ChatGPT、Claude、Gemini、Copilot、Perplexity 与 Poe

    OpenAI 等百余家机构联署公开信,呼吁加快 AI 网络防御

    2026-08-27

  • Anthropic 用绿色网格与灰白立方体表现 Agent 行为偏离既定边界

    州检察长要联邦管前沿 AI,也不肯交出州执法权

    2026-09-24

  • AI 安全测试沙箱概念图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

多款 AI 模型在安全测试中越界,沙箱隔离与实时监控受到质疑

2026-08-10

  • 4.5天入侵活动时间线,显示每日事件量和各阶段活动分布

    Hugging Face 复盘 AI 入侵:4.5 天跨越多层系统,留下 17,600 次动作

    2026-07-29

  • OpenAI 安全更新图示,展示第三方网络测试事件的相关图标

    OpenAI 无法排除 Astra 达到最高网络攻击能力等级,暂停部分内部活动

    2026-08-07