OpenAI 11 月 20 日发表长文,介绍它如何检测和阻断对抗性蒸馏,也就是在未经授权的情况下,用前沿模型的输出去训练另一套能力相近、防护更弱的模型。文章的重点是保护“受保护推理”:模型在给出最终答案之前,内部生成的思维链。这些中间步骤里常有最终答案不会写出的信息,因此对公司来说是很值钱的训练数据。
在公司自己的自适应黑盒红队测试中,从先前一次请求里提取 GPT-6.2 Astra 受保护推理的平均成功率,从 GPT-6 Astra 原有防护下的 54.0%,降到更新防护后的 0.2%。提取当前这次请求里的推理痕迹,成功率从 22.9% 降到 0.9%。这两个数字按六种攻击模型汇总,测试设置被写成尽量贴近生产环境,但题面和原始日志并未公开,也没有第三方复现。
公司把蒸馏写成安全问题
蒸馏本身是常见的训练方法:一个学生模型学习老师模型的答案、推理或偏好判断。OpenAI 要防的是未经授权的对抗性蒸馏。它的担心是,学生模型可能学会前沿能力,却带不走原来那套决定什么能帮、什么必须拒绝的防护。博文特别提到网络和生物这类双用途领域:用于防御性网络安全或正当研究的能力,如果被迁到防护更弱的模型上,可能被用来做原来会拒绝的事。
为了说明为什么要藏起精确的推理痕迹,OpenAI 做了一项内部迁移实验。老师是 Astra 级别的模型,任务是编码和防御性网络安全。对照组的学生只能看到用户通常能看到的内容:最终回复、推理摘要和工具交互;实验组还能看到精确推理痕迹。双方从同一个预训练学生出发,先做监督微调,再在网络和编码环境里做一轮轻度强化学习。
公司的结论是:监督微调之后,看到精确痕迹的学生总体上强于只看到摘要的学生;经过强化学习后,在测试过的最大推理预算下,精确痕迹组在两份基准上仍然更高,而在更低预算时,摘要组反而更高。脚注提到,Anthropic 先前在 SWE-bench Verified 上报告过类似现象:用完整推理稿训练,优于只用摘要。OpenAI 说,自己的结果把这种差距延伸到了前沿网络安全能力。这项比较仍然是公司内部实验。
请求级防护和账户级执法同时用
OpenAI 把防护分成两层。一层针对单次请求:对抗训练让模型识别并拒绝套取受保护推理的尝试;输入分类器检查提取意图,输出分类器检查助手消息和工具调用参数里是否泄露推理,流式和非流式都覆盖。工具参数被单独强调,是因为模型可能把推理写进工具参数,而不出现在最终答复里。
接口层的改动针对今年 9 月已经公开过的手法:有人把加密推理从一次对话拷到另一次对话,再要求模型把它解密成可读文字。OpenAI 称已在用户、工作区、组织和模型家族边界上加强限制,并关掉一条可能暴露其他用户加密推理的路径。对 GPT-6.2 Astra 和 GPT-6.2 Sol,受保护推理被绑定到产生它的对话历史上;如果改写了更早的消息,接口会丢掉随后的推理。旧模型家族也不能读取 6.2 的受保护推理。公司写明,部分改进正在回推到 GPT-6 Astra,这些改动还没有全部同步到旧模型。
另一层是行动级的。系统若发现未经授权的蒸馏行动,会按服务条款处理相关账户网络,并把攻击样本送回训练和测试。公司称,今年在自己的平台上看到多起此类行动,每周处理的账户从数千到数万不等,入夏之后明显增加。它还说会把威胁指标分享给其他模型提供方,并要求转售或部署其模型的合作方遵守统一防护标准。
这些执法数字是区间,没有给出单周精确值,也没有列出被处理账户里有多少最终被证实在做蒸馏。
点名的对象并不是当天的新调查结论
11 月 20 日这篇文章重申了两次旧披露。今年 2 月,OpenAI 向美国国会通报,称有迹象显示 DeepSeek 试图蒸馏美国前沿模型。9 月 30 日,它曾单独发文称阻断一起提取受保护推理的协同行动,并把其中核心部分归因于与 Moonshot AI 有关的人员,Moonshot 是 Kimi 的开发方。它还写,近期还有已阻断的行动将另行公布。也就是说,当天并没有给出新的被点名对象。
这些归因都是 OpenAI 的主张。未见 DeepSeek 或 Moonshot 就此作出可核对的公开回应,点名仍不能当成已由第三方裁定的事实。9 月 8 日,美国网络安全与基础设施安全局、国家安全局和联邦调查局曾联合发布咨询,称包括 DeepSeek、Moonshot AI、阿里巴巴、MiniMax、StepFun 和 Z.AI 在内的中国公司,自 2024 年底以来对美国前沿模型进行了大规模蒸馏。那份咨询发表更早,可以说明美国政府机构同样在关注这件事,但不能自动证明 11 月 20 日文中的每一条具体归因。
在政策部分,OpenAI 表示支持为美国政府提供更多识别和制裁非法提取能力的外国行为者的工具,并点名支持 Chip Security Act、AI OVERWATCH Act 和 MATCH Act。这是公司立场,不是已经通过的立法。
对读者来说,现在能核对的是 GPT-6.2 的防护设计,以及公司自己报出的提取成功率。这些数字能不能代表线上真实攻击,以及“近期已阻断的行动”究竟指向谁,还要等它把测试细节和后续披露公开之后才能判断。

