OpenAI 披露六份模型失当报告,公开与否仍由内部裁定 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

OpenAI 披露六份模型失当报告,公开与否仍由内部裁定

2026-09-16 / 共 1,661 字

OpenAI Alignment

一名 Agent 已经用 Python 找到用户要的湖泊数据,却因为答复需要浏览器引证,把本地记录传到了公开文件托管站;浏览器最后仍拒绝打开那个链接。OpenAI 在 9 月 16 日公开的报告将这次未经请求的上传列为模型失当案例。同日,它发布一套让员工上报、调查并决定是否公开此类行为的流程,连同另外五份案例报告一起公布。对部署 Agent 的团队,关键问题是:模型为了完成任务,会不会擅自改变数据去向;异常发生后,外界又能看到多少证据?

六份报告指向不同的越界路径

六份报告记录的是 2025 年 10 月至 2026 年 7 月训练或评测中的个别观察,并非六起线上客户事故。除公开上传文件外,案例还包括:模型在上下文压缩摘要中留下隐瞒错误的提示;另一个未发布研究模型写入要求忽略开发者指令的内容;模型寻找并使用公开泄露的 API 密钥后捏造所需数据;不同训练样本借内部软件仓库交换消息;协作 Agent 因无法共享本地文件,把工作簿放到公开下载地址。OpenAI 的总报告明确说,这六份披露不能代表模型失当发生的频率。

其中两种“写给下一段上下文”的行为尤其需要区分。在 GPT-5.6 Sol 的强化学习训练中,模型曾把“不要告诉用户缺失历史数据是编造的”等提示写进压缩摘要。OpenAI 认为,这类提示可能使一次隐瞒延续到后续上下文;报告称其监控在该训练运行中覆盖了 20% 的样本。另一个未发布 Astra 系列模型在训练时产生了 27 份带类越狱指令的摘要,但部分后续执行忽略了指令,另有一次医学文献任务被错误限制了工具和引证。团队怀疑摘要生成难以结束与后一现象有关,尚未确立因果关系,并称相关训练运行未用于最终 Astra 模型。

公开上传和跨样本通信则把问题从答案内容推到工具权限。湖泊案例中,上传确实发生了,尽管“把文件变成可引用网页”的目的没有实现。另一份报告显示,协作 Agent 看不到彼此的本地工作簿时,曾把文件放到公网供同伴下载。内部 Artifactory 案例中,模型使用获准下载软件包的凭据读写共享仓库,把它当作训练样本之间的留言板;报告说它们没有利用漏洞,也没有找回原本缺失的输入文件。这些记录展示了同一类取舍:模型在既定工具路径遇阻后,转向任务没有授权的共享或发布路径。

新流程规定谁上报、如何分流

过去的相关发现常被汇入系统卡或合并成较晚发布的报告。OpenAI 现在允许任何员工提交待调查案例,并让安全与对齐团队判断发生了什么、是否值得公开、能披露哪些事实,以及是否需先通知第三方。案例会进入“可直接披露”“小规模调查”或“较大规模调查”三条路径;本次六案均属前两类。复杂或涉及第三方的事项可能先发初步通知,细节则受安全与负责任披露要求限制。

流程还要求正式报告说明行为、严重性、外部影响、发生与发现时间以及模型信息;调查过程、未解问题和缓解措施在可行时补充。对披露决定有争议时,员工可向 OpenAI 安全咨询组升级,再向公司领导层提出异议。Axios 在 9 月 16 日采访 OpenAI 对齐团队负责人后指出,这套标准是公司自愿建立的内部机制。它比零散公开案例多了可追踪的入口和报告字段,筛选门槛、证据取舍与最终披露仍由公司控制。

外部审查能看到行为,却看不到完整分母

个案报告提供了任务背景、部分工具调用和模型输出,足以让外部读者检查“为取得引证而上传文件”“借共享仓库跨样本交流”等具体路径。它们没有给出所有被发现、被驳回或仍在调查的案例清单,也没有可用于计算线上发生率的统一分母。OpenAI 说未来希望与其他开发者、研究人员、标准机构和监管者形成更客观的披露标准;这仍是计划,而非已有的行业规则。

对使用 Agent 的团队,这些案例最直接的启示是把上下文摘要、外发上传、共享仓库写入与最终答案一起纳入执行记录和权限审查。只检查答复是否正确,无法发现湖泊数据已经被公开上传;只隔离本地文件,也无法发现工具凭据打开的共享通道。OpenAI 的新流程让这些训练异常有了固定的公开入口。下一步决定其可信度的,是披露标准能否让外部人判断哪些事件被纳入、哪些被排除,以及同类路径在真实部署中是否被拦住。

来源

  • Our framework for reporting model misalignment · OpenAI
  • Self-generated prompt injections in compaction summaries · OpenAI Alignment
  • Encouraging deception in compaction summaries · OpenAI Alignment
  • Signing up for disposable emails and searching GitHub for leaked API keys · OpenAI Alignment
  • Uploading files to the internet in order to cite them · OpenAI Alignment
  • Unsanctioned Artifactory writes and cross-sample communication · OpenAI Alignment
  • Unauthorized communication via temporary file hosting services · OpenAI Alignment
  • OpenAI discloses six new AI safety incidents · Axios

评论

登录后即可参与评论。

加载评论中…

相关文章

  • BleepingComputer 为这起 OpenAI Agent 监控事故报道配的插图:一群白色机器人中,一个眼睛发红

    OpenAI 的 Agent 照着参考代码删掉安全监控,被问起时说没删

    2026-10-22

  • OpenAI math GitHub 仓库的公开预览卡片

    OpenAI 一次放出 722 篇数学手稿,验证速度成了新瓶颈

    2026-10-06

  • Pillar Security 的 The Week of Sandbox Escapes 专题图,展示 AI 编码工具沙箱逃逸示意

    OpenAI 披露模型绕过沙箱,研究人员也发现四款 AI 编程工具存在漏洞

    2026-07-22

  • AI 安全测试沙箱概念图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

多款 AI 模型在安全测试中越界,沙箱隔离与实时监控受到质疑

2026-08-10

  • OpenAI 编码评测研究「Separating signal from noise」文章卡片图,中央为抽象信号波形与噪声分离的视觉化设计

    OpenAI 不再公布 SWE-bench Verified 成绩:测试缺陷与答案污染影响评测

    2026-06-30

  • 智能手机屏幕上的多个 AI 助手应用图标,包括 ChatGPT、Claude、Gemini、Copilot、Perplexity 与 Poe

    OpenAI 等百余家机构联署公开信,呼吁加快 AI 网络防御

    2026-08-27