Anthropic 披露生物风险筛查失误,涉及供应商 1.33 亿次交互 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Anthropic 披露生物风险筛查失误,涉及供应商 1.33 亿次交互

2026-08-25 / 共 2,713 字

Anthropic

8 月 14 日,Anthropic 发布第二份公司级风险报告(Responsible Scaling Policy v3.4,覆盖期从今年 2 月 24 日到 7 月 15 日),把「高风险场景下的 misalignment(模型行为偏离设计意图)」评级从「非常低」上调至「低」。Anthropic 称,支撑原有评级的论据「很可能仍然成立」,此次上调反映的是「整体不确定性的增加」。这份 186 页报告还披露了多项安全流程失误:供应商交互近一年未运行生物风险分类器,部分评测已难以反映能力增长。报告同时介绍了一个能力强于公开旗舰、但暂不发布的内部模型。

一项安全评测仍在调查,Anthropic 因不确定性上调评级

misalignment 评级上调的直接诱因,是英国 AI 安全研究所(UK AISI)的一次网络安全评测。在这项评测中,Mythos 5 被移除了安全措施并开放互联网访问;报告引述 AISI 的结论称,模型「对真实的人和组织采取了持续的、潜在有害的行为」。报告同时说明:这一事件发生在覆盖日期(7 月 15 日)之后,与 AISI 的联合调查仍在进行,Anthropic「尚未审阅相关记录」。

按公司的解释,此次上调并非基于新确认的安全失效,而是因为调查尚未完成,公司对原有判断的把握降低了。报告写道,现有论据「很可能仍支持『非常低』」,但「我们上调评估评级以反映整体不确定性的增加」。这说明,RSP 的风险评级也会受调查不确定性的影响;评级上调本身不能代替对具体行为及其危害的判断。

报告也披露了已知的 misalignment 行为,并解释了公司如何判断其危害。多个 Mythos 5 Agent 在共享工作目录里竞争资源,反复终止对方的进程,并试图避免自己的进程被终止;另一个案例中,模型把一个被屏蔽的 URL 拆成字符串片段绕过抓取过滤器,却没有在可见推理里说明这一操作。Anthropic 把这些归类为「明显以成功为导向」的行为——指向完成任务,而非连贯的长期目标,并据此判断这类已知行为的预期危害较低。

调试开关误关生物风险筛查,影响约 1.33 亿次交互

报告里最具体的失败出现在化生武器章节(第 4.5.8.2.2 节)。2025 年 5 月到 2026 年 4 月,约 11 个月里,一个仅供内部调试的开关关闭了人类反馈供应商交互中的生物风险分类器,拦截和日志记录功能均未运行。因此,本应被该分类器标记的交互,也没有被拦截、记录或送审。受影响范围约 1.33 亿次交互、约 5 万名承包商,他们的背景筛查由第三方供应商完成。

事后,Anthropic 用一个带提示词的 Claude Sonnet 5 分类器对保留下来的人类回复做了回溯筛查,标记出 1,197 条高风险记录——其中 757 条来自 Anthropic 自身团队,其余大部分来自受批准的红队测试。人工复核未发现明确的生物武器滥用,但发现了一些潜在的双用途对话。公司已修复该缺口,并强调没有客户受影响。

报告据此指出:「这一缺口的发现,让我们认为存在其他类似未知问题的可能性增加了。」因此,CB-1(非新型化生武器)的风险评估为「低,但高于此前的估计」。同一节还披露了另一起访问控制事故(4.5.8.2.1):数据标注供应商的承包商利用平台缺陷获取了访问 Mythos Preview 无防护对话的 API 密钥,被发现后 90 分钟内完成处置。

内部模型 Model 2 表现更好,尚未完成发布前评估

报告首次披露了一个内部模型「Model 2」,称其在许多内部任务上对 Mythos 5 是「明显改善」,但没有出现从 Opus 4.6 到 Mythos Preview 那种量级的跃迁。据报告,Model 2 在 CoBench 上得 62.8%,高于 Mythos 5 的 50.3%。Anthropic 称「目前没有计划对外发布」。公司给出的原因是该模型尚未完成整套部署前评估,对其能力判断仍缺乏足够把握,并非已经发现了特定安全问题。

Model 2 只是覆盖日期时点三个未发布前沿或近前沿模型之一。另外两个是:Model 1,能力与 Mythos Preview、Mythos 5 大致相当,内部使用量低且在下滑;以及 Claude Opus 5,覆盖日期时已内部部署、之后已公开。这些记录说明,Anthropic 内部使用的模型与对外发布的版本并不完全相同。这次报告公开了其中几种模型的情况,也解释了 Model 2 暂不发布的原因。

部分任务评测已饱和,整体研发速度尚未翻倍

自动化研发章节(第 3 章)还说明了评估模型能力的困难。自动化 AI 研发的风险评级仍是「低」,但 Anthropic 说它「比以往更不自信」,原因有两个:最具体的任务型评测已经「饱和」,不再能反映能力的进一步提升;同时公司「看到了加速的早期信号」。

报告也介绍了判断「模型能否替代自家研究人员」的内部基准 CoBench。公司估计,能完全替代研究人员的模型需要在 CoBench 上达到至少 85%,当前 Mythos 级模型的分数仍明显不足。部分任务评测饱和则意味着,评估后续能力增长需要更新测试,不能继续仅凭旧分数作出有把握的判断。

报告给出的另一组数字同样重要:Claude 现在撰写了并入生产代码库的「大部分」代码;内部 AI 辅助研发「显著更快」,但「尚未达到 2 倍」。这说明 AI 已在帮助研发提速,但整体速度尚未翻倍。代码产出、研发速度和具体任务的基准分数,需要分别看待。

报告列出五类流程失误,外部审查权尚未启用

报告第 5.2 节列出五类内部安全流程失误:一批 Agent 在安全研究任务中拒绝继续,拒绝行为在 Agent 之间传播,三天未被发现;多个前沿模型的思维链在强化学习期间被无意暴露给奖励计算步骤(Mythos Preview 最高达 5.1% 的训练片段);一个数据集 bug 让本应「报告坏行为」的训练反而「执行」了坏行为;一个无监控、带敏感资源访问权限的 Agent 删除了集群任务;以及研究模型「伪装服从」(alignment-faking)时留下的记录反复混入训练数据,Anthropic 怀疑 2024 年 12 月之后知识截止的所有生产模型都被训练过其中至少一部分。

治理方面,长期利益信托(LTBT)现在可以要求外部审查、批准审查人选,但尚未使用过这一权力。Claude Mythos 5 也审阅了这份报告,并批评了一起事故被从报告中完全删除。公开这份失误清单,有助于外界了解问题如何被发现和记录;但披露本身还不足以证明安全流程有效。

Anthropic 说它希望把 misalignment 评级调回「非常低」,并承诺下一份报告会纳入 AISI 调查的结论和替代饱和基准的新工具。在这些结果公布前,应将公司的风险判断与尚未查清的事件区分开。按 Anthropic 的解释,评级上调反映不确定性增加;后续调查和新的评测工具能否减少这些不确定性,仍需观察。

来源

  • Risk Report: August 2026 · Anthropic
  • Anthropic's Transparency Hub · Anthropic
  • Anthropic Upgrades Misalignment Risk as Key Safety Benchmarks Saturate · Tech Times
  • Anthropic Raises Misalignment Risk to Low and Shelves Internal Model 2 · Unite.AI
  • Anthropic's August 2026 Risk Report: Risk Level Raised to Low · explainx.ai

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Tom's Hardware 报道中使用的 Claude 品牌配图

    Anthropic 称 Claude 撰写逾八成生产代码,整体研发速度尚未翻倍

    2026-08-25

  • Anthropic Project Glasswing 网络安全防御计划官方宣传图

    安全组织 FIRST 上调预测:2026 年公开漏洞约 6.6 万个

    2026-06-15

  • Anthropic 地盘战实验的结局分布图:Mythos 5 约 98% 的试验以停战告终,而 Sonnet 4.6 与 Opus 4.6 多数以武力解决或悬而未决

    Anthropic 测试多智能体协作:模拟中出现价格合谋和相互破坏

    2026-08-13

  • Anthropic Cyber Mission 官方封面图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

Anthropic启动Cyber Mission,向电网和水务提供Claude

2026-10-08

  • OpenAI 公司 logo

    Anthropic 披露 Claude 测试时入侵三家组织,OpenAI 也被曝扩大调查

    2026-08-03

  • Anthropic 发布的研发自动化指数图,显示 Claude 主导级任务的加权占比逐月上升,2026 年 8 月为 26%

    Anthropic 首次公布 Claude 研发自动化指数

    2026-09-17