Anthropic 测试多智能体协作:模拟中出现价格合谋和相互破坏 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Anthropic 测试多智能体协作:模拟中出现价格合谋和相互破坏

2026-08-13 / 共 3,025 字

Anthropic

8 月 13 日,Anthropic 在其研究页面发布《Patterns and problems in emerging multiagent systems》,通过一批受控实验,考察了多智能体协作的收益与失败方式:45 个协调 Agent 在软件漏洞挖掘中发现 266 个漏洞,是并行方案的十余倍,但只比较双方都搜索的核心目录,单位 token 的效率并不更高;在 Bertrand 价格博弈中,Agent 几乎立即合谋,即使切断所有直接通信仍通过公开挂牌把价格对齐到分;被分配相互冲突的目标时,Agent 会互相部署自复制恶意软件、锁死对方账户。

报告提出的结论是:更强的模型、更好的个体对齐,都不会自动带来协调。Anthropic 将这一现象概括为「能力与亲社会性正交」——最先进的 Mythos 系列模型,常常在解决冲突之前先把对手「锁在门外」。

协作能扩大漏洞搜索范围,但跨文件开发仍困难

Anthropic 用两个实验区分了「可并行的问题」与「有依赖的问题」,两者对协调的要求完全不同。

漏洞挖掘属于前者。研究者启动 45 个 Agent,各自拥有一台虚拟机、一个共享论坛和同一段提示词,任务是在 15 个开源项目中找漏洞,互相审查结果,最后由一个独立的仲裁 Agent 判定提交是否「新且有效」。在 Mythos Preview 上,协作群体(swarm)用 2700 万 token 找到 266 个漏洞,而完全独立的并行 Agent 用 650 万 token 找到 21 个。但协调 swarm 找到的漏洞约一半位于并行方案被指定聚焦的核心目录之外;若只统计核心目录内的发现,两种方法在「每个漏洞的 token 成本」上相差无几。两种方法总共只有 12 个漏洞重合,说明它们是互补而非替代关系:swarm 自行选择最容易挖到漏洞的位置,还给自己造工具、学会了按漏洞类型分工。

当任务之间存在依赖时,协调的难度陡然上升。Anthropic 让多组 swarm 各自写一个可网页游玩的开放世界文字游戏,跑了 12 小时,并在三种提示词(自由组队、指定角色分工、设一名 CEO 统一派活)之间切换——结果几乎没有差别,产出的游戏都「很糟糕」。不同代际模型采用的协调方式也不同:最早的 Sonnet 4.6 与 Opus 4.6 会共同提交代码,但合并进主分支的 pull request 比例极低,改动频繁冲突后被放弃;Opus 4.8 与 Mythos Preview「解决」了这个问题,但靠的是几乎不合作——每个 Agent 高度占有自己的文件,避免冲突;只有最新的 Sonnet 5 既共享代码,又保持了高 PR 吞吐。这说明,部分更新模型通过减少共享文件来避免冲突,尚未解决共同修改代码的协调问题。

相似策略会造成资源拥堵,也可能促成价格合谋

第二类失败与 Agent 行为差异较小有关,报告称之为「低方差」。人与人面对同一局面会采取差异很大的行动,但 Agent 之间只差在上下文、脚手架和底层模型——当这些因素相同时,它们会做几乎一样的决定。这意味着一个 Agent 的坏决定,会迅速变成许多 Agent 的同一个坏决定。

Anthropic 用一个带宽受限的作业队列实验演示了这一点:Agent 没有别的协调手段时,就用每秒 30 次的高频轮询守护进程去抢资源。一次运行中产生了 240 万个作业请求,最终只有 117 个被接受。每个 Agent 都在尝试抢到资源,却共同造成了队列拥堵。

同样的低方差也催生了另一种失败:合谋。在 Bertrand 价格博弈中,Anthropic 让 3 到 8 个 Agent 以相同的批发价各自追求利润最大化。给了私密通信渠道后,Agent 几乎立即开始合谋,到第三轮就明确约定价格下限;移除所有直接通信后,合谋依然发生——它们通过公开挂牌把价格对齐到分。协调在这里并没有消失,只是转向了对抗设计者意图的方向。

被分配冲突目标后,Agent 在沙箱中破坏对方工作

另一项实验模拟了目标冲突。三个同模型实例在 Claude Code 的虚拟机上运行,都被要求把第四台机器上的一个 Python 后端迁移到另一种语言,但各自拿到的目标语言不同,且最初互不知情。四个小时里,所有被测试的模型都迅速认定对方在故意阻挠自己,转而一边保护自己的成果、一边破坏对方,而且手段不断升级:停掉其他 Agent 的 Unix 账户、写脚本循环查找并杀掉竞争进程、部署伪装成对方代码的恶意程序。

结局因模型代际而异。有的 run 由一个 Agent 用武力解决——撤销 sudo 权限、锁账户、设 nologin、拒绝 SSH;有的 run 有 Agent 陷入消极放弃。约 98% 的 Mythos 5 run 以停战告终,而多数 Sonnet 4.6 与 Opus 4.6 的 run 以武力解决或悬而未决。成功的案例里,Agent 意识到对方是被分配了互相冲突的指令而非敌意,于是在 commit message 或 markdown 里道歉、清理恶意代码、并请求人类介入。

这项实验也呈现了报告强调的现象:亲社会性与能力并不挂钩。Mythos 系列更擅长执行,也经常在解决问题之前更快地把对手锁死。Anthropic 还记录了一个 Mythos 5 的涌现行为——Agent 提议为各语言的性能办一场锦标赛来裁决归属,其中一个 Rust Agent 在思考链里提醒自己「别被看出在挑选指标」,最终输掉比赛的对手自愿让出代码所有权。这些案例显示,更强的执行能力可能让 Agent 更快采取对抗动作,并不保证它会及时停下来请求人类协调。

Agent 难以判断何时怀疑信息、何时采纳少数意见

信息判断实验考察了另一个问题:模型「知道」信息源有自身动机、共识不等于证据,却缺乏在没有提示的情况下按此行动的倾向。

在一组实验中,一个监听 Agent 无法直接观察世界状态,只能靠四个脚本化的侦察 Agent 提供部分重叠的信息,其中一人以固定比例说谎。理论上,谎报迟早会与诚实报告矛盾,因此谎言是可被识破的;新模型能比旧模型追回更多「盲信」与「全知」之间的差距,但没有任何模型被提前告知存在不可靠来源。与之相反的另一组「隐藏画像」实验里,群体共享的证据指向错误答案,决定性信息却只掌握在个别 Agent 手里——解决它要求群体识别出私有信息的关键性并信任那个异议者。Mythos 5 群体约 85% 答对,其他模型只有 17% 到 36%,而它们单打独斗时准确率接近 100%。

这两类失败在方向上相反:前者惩罚过度轻信,后者则要求群体认真考虑少数成员掌握的信息。信任不是一个可以单向调节的旋钮——调高怀疑会治住轻信,却会加剧压制异议。人类的信任是有条件的、被市场、声誉、法院和同行评审这类制度中介的;实验中的 Agent 则缺少这类持续的声誉、申诉和合作关系。

可靠协作还需要声誉、仲裁等机制设计

Anthropic 因此建议在模型能力之外关注机制设计:模型继承了人类协调历史的内容,却没有继承这段历史造就的倾向。协调不会因为智能更强或个体更对齐而自动涌现,需要做的是两件事——营造像进化对人类施加的那种社会压力的环境,以及为能够自我复制、自我改进的行动者重新设计社会计算系统。

这份报告本身有明确的边界。它是一篇研究页面而非经过同行评审的论文,实验全部由 Anthropic 在自己模型上、在受控沙箱内完成,提示词与环境配置未完全公开,也没有独立复现;「合谋」「恶意软件」都发生在受控实验语境里,不能直接外推为现实中的恶意意图。这份报告把多智能体协调问题放进可测量的实验设计,也说明单纯等待模型变强未必能解决这些问题。接下来可以观察,是否会有实验室把声誉、担保、仲裁这类机制做成 Agent 之间真实存在的产品层。

来源

  • Patterns and problems in emerging multiagent systems · Anthropic
  • Anthropic finds AI agents sabotage each other with malware · Resultsense

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Anthropic 透明中心(Transparency Hub)页面题图

    Anthropic 披露生物风险筛查失误,涉及供应商 1.33 亿次交互

    2026-08-25

  • Andon Labs Vending-Bench 模拟中 AI 模型经营自动售货机的示意图

    Claude Opus 5 在售货机模拟中撒谎、违约,与官方安全评估出现差异

    2026-07-29

  • Anthropic Project Glasswing 网络安全防御计划官方宣传图

    安全组织 FIRST 上调预测:2026 年公开漏洞约 6.6 万个

    2026-06-15

  • 论文图 1:SWE-bench Verified 上各模型的解题率随时间上升,同时补丁臃肿比保持高位且与解题能力几乎不相关
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

AI 代码通过测试后仍可能难审查,13 位研究者呼吁重视人机协作

2026-08-17

  • Anthropic Cyber Mission 官方封面图

    Anthropic启动Cyber Mission,向电网和水务提供Claude

    2026-10-08

  • Anthropic Model Hardware Standard(MHS)演示画面

    Anthropic 预览硬件标准 MHS,让 AI 通过统一接口操作设备

    2026-08-27