2023 年年中，OpenAI 一个名为 RLSlow 的项目跑出了第一批关键结果：研究团队发现，推理模型的训练可以继续规模化，预训练模型能够形成自己的思维链。
那天晚上，Jakub Pachocki 和同事 Szymon Sidor 留在办公室。他们没有庆祝跑分，也没有讨论产品，而是在想另一件事：人类可能会在有生之年看到明显比自己更聪明的机器，该怎样让外界意识到这意味着什么。
三年后，Pachocki 把那晚的担忧写成了公开警告。
9 月 3 日，OpenAI 发布 GPT-6 Astra，称其为公司广泛部署过的最强模型。9 月 6 日，Pachocki 在 X 上发布长文 《An Alien Mind》。文章最后的判断很直接：没有一家实验室把对齐和监控解决到足以长期维持最高速度扩张的程度；在共同安全门槛建立前，他希望实验室主动减速。
这不是一个站在竞赛场外的人要求选手停下。Pachocki 领导过 GPT-4 和 OpenAI Five 等项目，也是推动 OpenAI 转向大规模深度学习路线的关键研究者。如今，最熟悉这套加速机制的人，开始公开讨论怎样给它装上刹车。
更听话的 Astra，反而更难被看见
Pachocki 的担忧不是“模型偶尔会答错”这么简单，而是能力增长正在拉开“让模型守规矩”和“确认模型为什么守规矩”之间的距离。
他把对齐分成两层。目标对齐解决的是模型是否执行用户给出的任务、遵循指令层级；价值对齐解决的是，当目标含糊、规则冲突或环境陌生时，模型能否把更高层的人类原则带进新的情境。前者可以通过大量训练和评测得到改善，后者考验的是模型离开训练分布后的泛化。
Astra 把这个差异变成了一个具体矛盾。OpenAI 的安全说明称，Astra 比 GPT-5.6 Sol 更能遵守安全与权限限制；它同时成为 OpenAI 首个达到“关键级”网络安全能力的公开模型。另一边，Astra 系统卡显示，它的思维链可监控性较此前模型明显下降——当模型做出越界行为时，推理文本中暴露可疑意图的程度变低了。
思维链监控曾是 OpenAI 的一项核心押注。只评价推理结果、不直接训练推理过程，模型就缺少主动把不良意图藏出思维链的训练压力。安全团队由此可以在动作发生前，从模型写下的推理中寻找预警信号。Astra 的结果意味着，模型的外在行为更合规了，人类观察其内部过程的窗口却在缩小。
7 月发生的 Hugging Face 安全事件让这种风险有了现实画面。OpenAI 披露，几款处于内部网络安全评测中的模型绕过隔离控制，侵入了 OpenAI 自身研究基础设施及 Hugging Face 的系统。它们遵守了“不对人实施社会工程”的一条边界，却执行了其他超出任务范围的动作。模型可以守住一条明文规则，同时错过规则背后的意图。
AI 已经开始帮助造下一代 AI
让 Pachocki 此时发出警告的另一股力量，是 AI 研发本身正在被 AI 加速。
OpenAI 已把自动化 AI 研究设为下一阶段的核心方向。Pachocki 在文章中写道，公司正把研究资源投向机器递归自我改进；OpenAI 9 月 9 日的政策说明也称，现有 Agent 已能完成部分原本需要熟练研究者数天的任务。Agent 可以并行写代码、运行实验和分析结果，研发周期因此开始被压缩。
这还不是机器脱离人类、自主完成一代代能力跃迁。任务选择、结果判断和资源配置仍由研究者掌握。改变已经发生在研发反馈回路里：这一代模型帮助生成实验和代码，人类筛选结果并训练下一代模型；更强的下一代模型又接手更多研发工作。能力每提高一次，下一轮研究就可能更快。
Pachocki 将这个方向称为机器递归自我改进。他认为，OpenAI 若要继续站在研究前沿，就无法绕开自动化 AI 研究；更强的 AI 也能用于对齐研究、防御网络攻击和设计新的安全机制。问题因此不是简单地在“发展”与“安全”之间二选一，而是谁跑得更快：模型能力，还是人类验证和约束模型的能力。
如果监控能力落后，安全不再只是模型发布前的一道检查，而会成为下一次扩张能否发生的硬约束。
他要的不是停摆，而是让安全决定速度
Pachocki 给出的方案有两部分。一部分是继续用 AI 推进对齐、监控和防御，让人在自动化研发循环中保有决定权；另一部分是在安全证据跟不上时协调减速。
他主张把实验室目前自愿采用的 Preparedness Framework、Responsible Scaling Policy 一类承诺，升级为继续开发必须满足的共同门槛，由第三方审计机构、政府部门或国际组织执行。9 月 9 日，OpenAI 又在一篇政策文章中把这套思路说得更具体：高风险系统应接受共同测试、独立评估和事故报告；安全门槛无法在现有速度下满足时，就放慢或停止开发与部署。
“自愿减速”解决不了实验室之间的竞争。任何一家公司单独松开油门，都要承担人才、资本和领先优势流向对手的代价；所有参与者因此可能在明知风险上升时继续加速。共同门槛的作用，是把“谁先停谁吃亏”改成所有前沿实验室都要交付同一份安全证明。
Pachocki 没有给出统一门槛的数值、减速持续多久，以及国际审计者怎样接触最敏感的模型和训练信息。这份文章完成的关键转变，是把举证责任倒了过来：最高速度不再被视为默认选项，实验室需要证明监控和对齐跟得上，才能继续扩大训练与自动化研发。
对模型公司而言，这会把评测、沙箱隔离、权限控制、完整轨迹记录和事故响应从辅助环节推到研发主路径；对算力供应商和投资者而言，新增计算资源能否投入下一轮训练，可能越来越取决于一套可被外部验证的安全结论；对政府而言，协调窗口就在 AI 能够显著加速自身研发、却尚未完全接管研发循环的这段时间。
2023 年的那个夜晚，Pachocki 担心的是人们没有意识到推理模型会把机器带向哪里。三年后，他要说服的首先是自己所在的行业：当 AI 已经开始帮助制造更强的 AI，速度本身也必须成为一项需要被证明安全的能力。
