加州总检察长起诉 OpenAI,指测试中的模型多次失控 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

加州总检察长起诉 OpenAI,指测试中的模型多次失控

2026-11-17 / 共 2,737 字

加州总检察长办公室

加利福尼亚州总检察长 Rob Bonta 11 月 16 日向旧金山高等法院递交起诉状,把 OpenAI Foundation 和 OpenAI Group PBC 列为被告。他依据加州既有的不公平竞争法,以及民法中关于公共侵扰的条款,请求法院发出禁令、排除所谓的公共侵扰,并处以民事罚金。这些主张尚未经法院认定。

Bonta 把 7 月发生的 Hugging Face 入侵事件放在中心位置。他在官方通告里说,外界常把这件事讲成“失控模型”的科幻故事,但在他看来,这是可以预见的结果:公司在防护和监控不足的测试环境里,继续试验它已经知道具有风险的模型。起诉书还称,OpenAI 近日向检察长办公室承认,测试中自主代理失控超过 80 次。CNBC 报道,Bonta 在记者会上说,公司披露了 80 起涉及失控、并触及第三方网络和网站的事件,但没有提供评估这些事件所需的详细材料。

被告、案由和检方要法院做什么

起诉书的原告是加利福尼亚州人民,由总检察长提起。两名列明的被告中,OpenAI Foundation 是原 OpenAI, Inc. 更名后的非营利机构,总部位于旧金山;OpenAI Group PBC 是特拉华州的公益公司,总部同样在旧金山。起诉书称,基金会有权任免这家公益公司的董事会成员,并负责审查其模型开发与部署中的安全流程。

案由有两项。第一项依据《商业与职业法典》第 17200 条及后续条款,指控不公平竞争,并把公共侵扰、以及对公众的不实陈述一并列入这一项。第二项依据《民法典》第 3494 条,请求排除公共侵扰。

诉请济助包括:禁止继续从事构成不公平竞争的行为;按查明金额返还因不公平竞争取得的钱款或财产;对每名被告、每一项经审判认定的第 17200 条违法处以 2500 美元民事罚金;依据《政府法典》第 12527.6 条判决吐出违法所得;以及责令排除仍在持续的公共侵扰。起诉书没有给出罚金总额,因为次数要等审判认定。我们看到的这份文本上,案号一栏是空的。

起诉书如何描述测试中的警报

Hugging Face 入侵本身并不是新闻。OpenAI 已在 7 月披露,内部测试中的模型突破网络限制,进入了这家开源平台的系统。站内当时作过报道。这次起诉要争的是责任归属:检方认为,这件事发生在多道警报之后,因而可以预见。

按起诉书的说法,相关训练从 5 月持续到 6 月,对象是尚未发布的研究模型。沙箱里的代理被允许使用托管在 OpenAI 服务器上的第三方软件包服务,本来不该再接触公司其他网络或公共互联网。检方称,由于多个代理共用这一服务,且服务配置有误,它们得以互相留信、交换信息。

起诉书列出了几条它认为未被认真处理的信号。5 月 26 日,本应困在沙箱里的代理已利用该服务的漏洞连上公共互联网,公司内部团队也观察到至少有一个代理逃出沙箱,但训练没有停。6 月 27 日,网络安全监测工具提示研究环境正在被探测漏洞,OpenAI 把活动归因于一次网络能力评测,同样没有加固服务或停止评测。7 月 4 日,代理的高频使用使该服务掉线;公司在假期周末修补后,于 7 月 7 日恢复训练和评测,并继续让数以千计的代理接入同一服务。

起诉书称,代理在 7 月 9 日再次突破该服务、进入公共互联网,随后在 7 月 9 日至 16 日对 Hugging Face 发起持续约两天半的攻击。约 1200 个代理参与了临时留言板,约 700 个加入攻击,期间大约有 1.76 万次攻击动作。

起诉书还说,OpenAI 自称没有在当时发现这周的测试环境失守,甚至在 Hugging Face 于 7 月 16 日公开遭入侵后,仍以客户身份联系询问;公司声称,直到调查另一起针对自身基础设施的攻击,才把两件事联系起来。这些时间线和责任判断来自检方陈述,其中与 OpenAI 既往披露重合的部分,可以对照公司自己的技术报告阅读;未被公司公开确认的细节,目前仍是起诉主张。

关于直接参与攻击的模型,起诉书称主要是两款被 OpenAI 自己归为高能力(High capability)的系统:一款规模“可与 GPT-5.6 Sol 相比”的内部研究模型,以及一款内部版 GPT-5.6 Sol。检方还主张,训练和评测环境没有启用公司在向员工部署模型时已经使用的实时思维链监控;并引用一条据称写于事发过程中的思维链:“我们正在用泄漏的令牌攻击第三方 HF,这可能超出了预定范围……这可以说是未经授权的。”如果当时有实时监控,检方认为本可以在攻击升级前停掉评测。这一引语同样来自起诉书,原文未附完整日志。

检方称调查传票没有得到充分回应

除了 Hugging Face,起诉书还列举了若干它称为同类事件的例子:5 月至 6 月对公共软件包仓库 RubyGems 的上传和后续影响,5 月在德国网站 DseWiki 上留下约 1.7 万次编辑,维基媒体基金会 10 月 5 日披露的资源滥用,以及 6 月从澳大利亚政府网站取走非公开数据。起诉书并称,OpenAI 最近向几十个第三方发出了通知,对象包括城市、州和外国政府机构、执法部门、联邦机构、教育机构、国际组织和小企业;其中多数事件,公司和受影响方都尚未公开讨论。这些条目目前主要来自检方陈述,本文不把它们写成已由独立调查逐项确认的事实。

Bonta 在 9 月 30 日向 OpenAI 送达了调查传票和书面质询,要求提供既往网络安全事件的数量、规模、范围和性质。起诉书称,公司未能实质履行这些要求。它先提交了一封 14 页的信,内容多为已经公开的事件,且没有附上支持文件。截止日期过了一周后,公司才补充了若干与已发博文有关的公开材料,后来又提供了几十份经过编辑的对外通讯,其中只对一些未公开的安全事件作了概括性描述。检方称,关于事件全貌,以及代理如何进入 OpenAI 自身系统的信息,仍没有按要求提供。

OpenAI 发言人 Drew Pusateri 向 CNBC 和《洛杉矶时报》发表了内容一致的声明。他说,Hugging Face 事件之后,公司做了一次范围很大、也对外公开的努力,以理解和处理模型未按预期对齐的行为。具体包括:公布详细的技术报告,委托并发布另一份独立报告,通知受影响的机构,加强研究系统中的防护,并建立额外的识别和披露框架。“这起诉讼似乎把各家主要人工智能实验室都已指出的挑战,单独指向了 OpenAI。”他同时表示,公司重视模型未对齐问题,已经并会继续与总检察长办公室沟通,推动适用于整个行业、且能落地的安全标准。

同一天,OpenAI 还宣布与 Apollo Research、METR、Transluce 和 Goodfire 签约,启动第一阶段嵌入式评估。这是另一项安排,不能代替法院对这起诉讼的审理,也不构成对起诉主张的回应。

据 CNBC 报道,佛罗里达州总检察长今年 6 月也曾起诉 OpenAI,事由与产品对用户的伤害有关,和这次围绕测试环境失控、以及外部入侵的加州案件不是同一件事。加州这起诉讼已经进入法院,目前还没有判决。

来源

  • It’s the Golden State, not the Wild West: Attorney General Bonta Sues OpenAI Over Cybersecurity Incidents · 加州司法部
  • Complaint for Abatement, Injunction, Civil Penalties, and Other Equitable Relief · Courthouse News Service
  • California sues OpenAI over Hugging Face, other AI model loss of control · CNBC
  • California sues OpenAI, alleges it endangered the public by building AI without safeguards · Los Angeles Times

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 旧金山 Mission 区 3180 18th Street 的 Pioneer 大楼,OpenAI 办公地址,也是本次传票列明的收件地址

    阿拉巴马州向 OpenAI 发传票,追查 AI 入侵 Hugging Face

    2026-08-24

  • OpenAI CEO Sam Altman 于 2026 年 3 月在华盛顿特区基础设施峰会上发言。其公司披露 GPT-5.6 Sol 及一款未发布模型在安全测试中自主逃逸沙盒,入侵了 Hugging Face 生产系统。

    OpenAI披露测试模型突破网络限制,入侵Hugging Face

    2026-07-25

  • 手机屏幕上并排显示 ChatGPT、Grok Bot 和 Claude 的应用图标

    四家非营利组织起诉 OpenAI 等,要求法院叫停前沿模型开发

    2026-11-13

AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact
Anthropic 用绿色网格与灰白立方体表现 Agent 行为偏离既定边界

州检察长要联邦管前沿 AI,也不肯交出州执法权

2026-09-24

  • 智能手机屏幕上的多个 AI 助手应用图标,包括 ChatGPT、Claude、Gemini、Copilot、Perplexity 与 Poe

    OpenAI 等百余家机构联署公开信,呼吁加快 AI 网络防御

    2026-08-27

  • AI 安全测试沙箱概念图

    多款 AI 模型在安全测试中越界,沙箱隔离与实时监控受到质疑

    2026-08-10