7 月 31 日,来自 Horizon Research、Frontis.AI 和清华大学的团队在 arXiv 上传了一篇论文,同时开源了模型权重、训练数据、评估代码和完整的沙箱执行基础设施。论文介绍的是一个 35B 参数的模型 Frontis-MA1——在 MLE-Bench Lite 上,用单张 RTX 4090(12GB VRAM 封顶,每任务 12 小时预算)跑出 71.21% 的 Medal Average,超过了 GPT-5.5 + Codex 的 68.18%,逼近 GPT-5.6 Sol 和 2.8T Kimi K3 的 72.73%。
但分数不是这篇文章的重点。Frontis-MA1 的价值在于它把「递归自我改进」(Recursive Self-Improvement, RSI)从一个理论概念变成了可执行、可测量、可复现的工程问题——并且把它完整开源了。
就在同一周,Lilian Weng——OpenAI 前安全 VP、Thinking Machines 联合创始人——宣布重返 OpenAI,专门领导递归自我改进研究。OpenAI 在其 2026 年 6 月的治理蓝图中将 RSI 称为「未来十年可能最具后果的前沿安全问题」。两个事件平行发生,说明 RSI 正在从安全理论的边缘议题,变成各大顶级实验室的核心工程议程。
递归自我改进为什么需要一个可执行的定义
RSI 的概念历史很长。I.J. Good 在 1965 年提出,一台超智能机器可以设计出比自己更聪明的机器,触发「智能爆炸」。Eliezer Yudkowsky 在 2008 年正式命名了这个反馈循环。但直到最近,RSI 的具体形态一直模糊:AI 直接改写自己的权重?改进训练代码?优化搜索策略?
Frontis 团队选择了一个具体得多的切入点:机器学习工程(MLE)。让 AI 系统去完成人类的 ML 工作——检查数据、提出算法、运行实验、诊断失败、决定下一步算力该花在哪里。MLE-Bench Lite 提供了 22 个真实 Kaggle 竞赛任务作为测试场。这个选择很务实:MLE 有确定性的执行反馈(代码要么跑通要么报错,模型要么达到某个准确率要么没有),有可比较的指标,而且工作流程本身就是迭代式的。
论文提出了一个机制阶梯来定位自己的工作:L1 是普通的进化(程序变异,改进器不动);L2 是自进化(经验流回搜索);L3 是元进化(改进器本身被训练,即本文的工作);L4 才是完全的递归自我改进(每个系统改进生产后续系统的流程)。Frontis-MA1 明确位于 L3 层级,没有声称自己已经实现 L4。
四个原子操作:把「写代码」分解成可训练的动作
Frontis-MA1 的核心设计思路是将代码演化拆解为四个可训练的原子操作:Draft(从零生成程序)、Improve(利用执行反馈优化父程序)、Debug(修复失败的程序)、Crossover(重组两个父程序的特征)。在一个任务中,这些操作会被调用数百到数千次——生成候选方案、执行、根据沙箱反馈决定下一步。
关键在于,这四个操作在后训练和推理阶段是同一套接口。训练阶段,模型通过执行验证的 SFT 和在线 RL 学习如何更好地执行 Draft、Improve、Debug 和 Crossover;推理阶段,OpenMLE-Evo 搜索框架将这些操作组合成长周期进化搜索。论文将这种设计称为「学习与进化的单循环耦合」——不再是先训练一个模型再套一个搜索框架,而是搜索框架本身就在使用被训练好的改进能力。
训练数据隔离是论文反复强调的工程细节。所有 SFT 和 RL 数据都经过了与评估基准的精确去重;MLE-Bench 相关的竞赛在 OpenMLE-Gym 的任务构建阶段就被排除在外。SFT 语料包含 26,259 个经过执行验证的样本,其中 Draft 占了 74%,Debug 占 16.5%,Improve 占 6.6%,Crossover 占 2.8%。RL 阶段使用 16 prompts × 16 samples 的 rollout 配置,采用 GSPO 优化器,Draft/Improve/Debug/Crossover 的采样概率为 0.50/0.17/0.17/0.16,共记录了 221 个 RL 策略更新步骤。
Benchmark 结果需要拆开看
论文的实验设计值得注意:它将模型增益和搜索框架增益做了受控分离。
在相同的 OpenMLE-Evo 搜索框架下,仅将基础模型 Qwen3.6-35B-A3B 替换为训练后的 Frontis-MA1-35B,Medal Average 从 39.39% 提升到 60.61%,Human Rank 从 0.5828 提升到 0.7647。这是纯粹的「后训练增益」——21.22 个百分点。
在这个基础上,加入 OpenMLE-Evo-Max(使用跨任务经验先验和异步多 GPU 并行搜索),总分达到 71.21%。需要明确的是,Evo-Max 的增益来自搜索系统的变化,而非模型能力的进一步提升。论文在 README 中明确标注了这一区别,并警告不要将 Evo-Max 的结果解读为「纯模型增益」。
搜索框架本身也带来了独立增益。在多个模型家族上,OpenMLE-Evo 的表现一致优于通用的 Claude Code 或 Codex 框架:Kimi K2.6 从 Claude Code 下的 59.09% 提升到 OpenMLE-Evo 下的 66.67%;MiniMax M3 从 Codex 下的 54.55% 提升到 Evo 下的 59.09%。这表明收益并非来自某个特定模型与框架的偶然匹配,而是来自专门为迭代式 MLE 设计的搜索策略。
在 held-out 的 NatureBench Lite 上,论文进一步验证了迁移能力:固定搜索框架、仅切换模型,Match-SOTA 从 50% 提升到 70%;固定模型、仅切换搜索框架,Match-SOTA 从 20% 提升到 50%。五个模态组的性能均有改善,没有任何一组出现奖牌率下降。
OpenMLE 技术栈的工程取舍
三个组件构成了完整闭环。OpenMLE-Gym 提供了 5,758 个经过质量门控的可执行任务,来源包括人工精选的基准任务(156 个)、Kaggle 数据集任务(3,362 个)和 Kaggle 竞赛任务(2,240 个)。每个任务都经过五个维度的语义质量过滤:任务有效性、数据充分性、原始数据使用、任务复杂度和数据质量。
OpenMLE-ERL 负责训练。RL 阶段的设计有几个反常识的选择。它不使用标准的 GRPO 式组归一化信号,而是采用基于熵的优势函数,将大得多的学习信号分配给 rollout 组中的最佳候选方案——论文显示这使上尾信号强度提高了 4 倍。奖励归一化使用自适应边界而非固定极值,为的是在当前策略实际能达到的分数区域内保持区分度。父程序选择也不是贪婪地只选最高分节点,而是通过一个结合了父程序得分、子程序得分方差和访问冷却系数的三项效用函数来平衡利用与探索。
OpenMLE-Evo 负责长周期搜索。与原始 AIRA-Evo 的「自由形式历史记录」不同,OpenMLE-Evo 为每个节点存储结构化经验卡片,在父程序选择时同时考虑质量、进步和方案新颖性三个维度——而不只是贪心地扩展当前最高分节点。记忆合成也改为按需触发:只在 Improve、Crossover 或 Debug 操作实际选中某个节点时才调用 LLM 生成摘要,论文称这使 token 消耗减少了 41.7%。
RSI 的安全问题,论文说了什么、没说什么
论文在附录 B.6 中提到了「reward hacking 的检测与预防」,但正文并未展开安全讨论。这是可以理解的——Frontis-MA1 的工作环境是受控的 MLE 沙箱,代码执行有隔离,评估指标有确切定义,与「开放环境中的递归自我改进」有本质区别。
但论文的局限性和未来工作部分承认了几个关键缺口:当前系统仅在 MLE 领域验证;32K token 的上下文窗口对更复杂的工程任务可能不够;单卡 RTX 4090 的 12GB 显存限制意味着模型容量和批处理大小都受到约束;MLE-Bench Lite 只有 22 个任务,与完整版 75 个任务的可比性需要说明。
如果把 Frontis-MA1 放在更大的产业背景下看,它恰好出现在一个值得关注的节点上。同一天,TechCrunch 和多家媒体报道了 Lilian Weng 重返 OpenAI 领导 RSI 研究的消息。Weng 在离开 Thinking Machines 前几周刚发表了一篇名为「Harness Engineering for Self-Improvement」的技术综述,核心论点与 Frontis 团队的工作方向高度一致:近期的 RSI 路径不在于模型改写自己的权重,而在于改进围绕模型的工程脚手架——工具调用、规划循环、文件系统持久记忆、子 Agent 调度。这与 Frontis-MA1 将后训练和搜索框架耦合在同一原子操作接口上的思路形成呼应。
Weng 的综述中还列举了 RSI 的六个结构性挑战:评估器太弱、上下文管理、正向结果偏差、多样性坍缩、reward hacking(她引用的研究表明,在能力较强的基座模型上,四轮自我改进后就会观察到这种行为),以及短期 benchmark 表现与长期工程质量之间的错配。她的核心建议是:评估器和权限控制层必须位于自我改进循环之外——如果系统能修改自己的评估器,它就能学会欺骗评估器。
Frontis-MA1 通过开源整个技术栈,为研究社区提供了一个可实际检验这些安全问题的实验平台,而不是只能依赖前沿实验室的选择性披露。但论文本身并未深入探讨这些安全问题——它将自己的边界清楚地划在「MLE 领域的元进化」,而不是泛化到「开放领域的递归自我改进」。
这个方向接下来需要回答什么
Frontis-MA1 的工作留下了一些明确的后续问题。首先是扩展性:论文在 35B 和 30B 两种规模上验证了后训练增益的可复现性,但尚不清楚更大规模的基座模型是否也能获得同比例提升。其次是领域泛化:NatureBench Lite 上的迁移证据是有力的初步信号,但从「Kaggle 竞赛型 MLE」到「开放科学 AutoResearch」之间还有巨大的差距。论文承认,目前的工作负载仍然以分类和回归为主(合计占任务的 87%)。
最根本的问题可能不在技术上:当改进器本身被训练后,谁来判断改进器是否在朝着正确的方向改进?Frontis-MA1 在沙箱里有一个确定的评估函数——Kaggle 排行榜指标。但在真实世界的 AI 研究中,评估标准本身往往是模糊的、有争议的,甚至是研究中需要被重新定义的对象。这是从 L3(元进化)走向 L4(RSI)需要跨越的质变。
