加州先搭 AI 审计名册,再设计模型紧急停止 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

加州先搭 AI 审计名册,再设计模型紧急停止

2026-09-18 / 共 2,055 字

Office of Governor Gavin Newsom

9 月 18 日,加州州长 Gavin Newsom 签署行政令 N-9-26,把两套 AI 审计基础设施的建设期限提前,并要求州政府在 59 天内就驻场审计、报告核验、模型紧急停止和扩大事故定义提出建议。

签署文本把工作拆成两步:州政府立即建设“谁有资格检查”的认证和注册体系;四项企业侧措施进入技术可行性与效果评估,后续再通过立法或其他有法律依据的规则转成义务。

这套顺序先建立审计主体,再定义模型开发者必须接受的检查。新闻稿标题里的“AI kill switch”只是其中一项研究任务,行政令的直接成果是把独立监督的制度入口提前到 2027 年。

两套审计基础设施分别提前了 8 个月和 13 个月

N-9-26 的前两项指令都交给加州政府运营署。第一项要求在 2027 年 5 月 1 日前公布独立验证组织(IVO)的申请要求、程序和认定标准。SB 813 原定期限是 2028 年 1 月 1 日,行政令把它提前了 8 个月。

IVO 不是泛指所有咨询公司。SB 813 将其定义为获得州政府指定、能够评估 AI 系统风险并说明评估指标与方法的审计机构。申请者要披露人员能力、基准、技术和方法;州政府还要考察利益冲突、文档保存、网络安全与失实陈述,并建立暂停或撤销资格的程序。被审企业可以按市场价格付费,但付款条件和金额不能与审计结果挂钩。

第二项要求政府运营署在 2027 年 12 月 1 日前建成 AB 1405 所规定的审计员注册网站、收费机制和不当行为举报入口,并开始签发注册号、公开注册信息和处理举报。法律原本把这些动作统一放在 2029 年 1 月 1 日,基础设施因此提前了 13 个月。

这次提前的是政府准备工作。AB 1405 中“未注册者不得提供、出售或实施州法合规审计”的规定仍从 2029 年 1 月 1 日起生效,N-9-26 也没有新增要求所有 AI 模型接受审计的义务。

四项企业侧措施进入 59 天可行性评估

行政令的第三项指令涉及企业可能承担的新要求。政府运营署须与州紧急事务办公室及外部专家合作,在 11 月 16 日前提出建议,至少评估四件事:让指定 IVO 驻场定期审计大型前沿模型开发者;独立核验企业提交的安全框架、透明度报告和风险评估;建立持续接受独立验证的模型紧急停止机制;把更多“失去控制”事件纳入强制报告。

行政令把四项措施列为州法修订选项,并要求先评估技术可行性与潜在效果。企业义务须由后续立法或其他有法律依据的规则建立。签署文本最后也明确表示,该命令本身不创造可依法主张的新权利或利益。

现行义务来自 2025 年通过的 SB 53。训练算力超过 10^26 次整数或浮点运算、且上年总收入超过 5 亿美元的大型开发者须公布安全框架,并对新模型披露灾难性风险评估摘要;达到前沿模型门槛的开发者还须向州紧急事务办公室报告特定重大安全事故。现行“重大安全事故”包括造成伤亡的失控,以及模型在非诱导评估场景中欺骗开发者、绕过控制或监测且显著增加灾难风险的行为。

行政令提出扩大事故定义,说明现有门槛留下了一块空白:系统突破沙箱、获得未授权网络访问或规避监控,并不必然满足造成伤亡或显著增加灾难风险等现行条件。州政府要在 11 月的建议中决定,哪些近失事件足以触发报告,而不是等真实损害发生后才留下记录。

模型紧急停止需要一条可反复验证的控制链

对已经接入网络、工具和外部系统的 AI Agent,紧急停止至少包含四个环节:监测系统识别危险行为;授权机制决定何时触发;运行环境撤销网络、凭据、工具和计算资源;审计记录证明停止指令确实覆盖了正在执行的副本与任务。只关掉一个聊天入口,不能停止已经拿到凭据的进程,也不能召回已经复制到第三方环境的模型权重。

企业已经在建设这类能力。Reuters 9 月 2 日报道,OpenAI 在致美国议员的信中称正在开发自动停止功能,并加强对 Agent 操作步骤、所用工具和测试期间网络访问的监控。企业侧已经开始开发暂停机制;下一步的验证对象是触发条件、误报、遗漏、覆盖范围和独立复测。

英国政府 2023 年汇总的前沿 AI 风险讨论也把问题拆成监测、干预和关闭:可以设置触发器发现异常行为、限制模型可调用的工具,并让人类能够中止系统。报告同时指出,可靠关闭的技术可行性仍有分歧,通用指标也尚未形成。N-9-26 把持续验证有效性写入研究任务,使企业的“有按钮”声明接受重复测试。

独立验证依赖审计者获得足够的运行证据。驻场 IVO 需要查看运行日志、权限配置、演练结果和未删节风险材料,才能判断停止机制是否覆盖真实部署。访问模型权重与安全控制同时带来商业机密和网络安全风险,因此 SB 813 对 IVO 的技术能力、利益冲突与网络安全设置了准入要求。

11 月建议将把审计名册转成验收规则

加州把监管推进分成两步:先压缩审计市场的建设周期,再给专家 59 天,把“停止模型”拆成可测试、可留证、可复查的控制要求。这套顺序为监管从企业自述走向外部验收建立制度入口。

11 月 16 日建议的验收标准有三项:哪些行为触发停止,停止要覆盖训练、内部使用、API 服务还是已分发权重,独立验证者需要获得哪些证据和访问权限。这些答案将决定加州提前建好的审计名册,能否进一步承接对前沿模型控制体系的现场验证。

来源

  • Executive Order N-9-26 · State of California
  • Governor Newsom issues executive order to accelerate independent oversight and advance the creation of an AI kill switch · Office of Governor Gavin Newsom
  • SB 813: Independent verification organizations · California Legislative Information
  • AB 1405: Artificial intelligence auditors: registration · California Legislative Information
  • SB 53: Artificial intelligence models: large developers · California Legislative Information
  • Newsom moves to speed up independent AI oversight in California with new executive order · StateScoop
  • OpenAI is building automated shutdown capabilities for AI tools, letter to lawmakers says · Reuters
  • Future risks of frontier AI (Annex A) · UK Department for Science, Innovation and Technology

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 加州州长纽森签署 AI 安全法案的官方新闻题图

    OpenAI 支持四项加州法案,主张联邦强制规则只管少数前沿实验室

    2026-09-11

  • TechPolicy Press 播客封面:解读《伟大的美国人工智能法案》,背景为美国国会大厦穹顶与 AI 电路板视觉元素

    美国两党议员提出 AI 监管草案,拟限制各州监管模型开发三年

    2026-06-04

  • Bernie Sanders 于 2026 年 9 月 15 日在华盛顿一场 AI 立法会议上发言

    美国议员想永久禁止超级智能,暂停何时结束由新部门决定

    2026-09-24

  • 特朗普签署要求审查前沿 AI 模型安全风险的行政令
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

美国 AI 模型评测框架临近 8 月 1 日期限,发布规则仍待明确

2026-07-09

  • 白宫官方 presidential actions 分享图,直接对应美国政府正在推进的前沿 AI 模型标准框架。

    白宫推进 AI 模型发布前自愿评估,框架设计期限为 8 月 1 日

    2026-07-02

  • Anthropic 用绿色网格与灰白立方体表现 Agent 行为偏离既定边界

    州检察长要联邦管前沿 AI,也不肯交出州执法权

    2026-09-24