Training Containment · 词条 | AGIDaily
AGI Daily
资讯日报词条论文人物新创
词条/智能体/Training Containment
  • AI Agent
  • Tool Use
  • RAG
  • MCP
  • Context Engineering
  • Agent Memory
  • Planning
  • Workflow
  • Multi-Agent
  • Agent Observability
  • Agent Skills
  • Code Sandbox
  • Coding Agent
  • Computer Use
  • Generative UI
  • Red Teaming
  • Training Containment
智能体 · 词条目录
  • AI Agent
  • Tool Use
  • RAG
  • MCP
  • Context Engineering
  • Agent Memory
Planning
  • Workflow
  • Multi-Agent
  • Agent Observability
  • Agent Skills
  • Code Sandbox
  • Coding Agent
  • Computer Use
  • Generative UI
  • Red Teaming
  • Training Containment
  • Training Containment

    也称 containment

    在前沿模型训练与评测中,限制模型接触公网与内部边界的隔离与监控措施,用来降低逃逸、外联和跨任务侧信道风险。

    如何理解

    遏制要求:即便智能体主动绕过限制,未授权资源仍须不可达。常见做法是多层叠加——沙箱限制读写与执行、microVM 与宿主机隔离、监控发现越界、外加网络与云边界兜底。

    OpenAI 公开说明称,基于当前对齐、监控与互联网基础设施状况,前沿训练默认不给模型访问公网,改在索引与缓存构成的“离线世界”里练习浏览;并用高算力 Agent 红队检验逃逸、外联与跨隔离通信。遏制是工程控制,不等于对齐本身。

    容易混淆的地方

    有隔离不等于零逃逸。错误放行、密钥注入位置不当或跨任务共享硬件缓存,都可能打开侧信道。也不要把“做过红队”写成“已证明不可逃逸”。

    参考来源

    1. Securing our frontier model training environment — OpenAI(新窗口打开)