Navers Lab、Einsia.AI 等机构的研究者把十个机器学习研究项目交给编程 Agent，要求它们改进项目原有的方法。Agent 可以读代码、改训练流程、做短实验；时间结束后，研究者取走它留下的代码，在独立环境中重新执行，检查改动到底有没有用。这项名为 AI4AI-Bench 的研究于 2026 年 8 月 20 日提交 arXiv，试图回答一个越来越具体的问题：能写训练代码的 AI，是否也能找出更好的学习方法？
这个问题关系到自动化研究工具该如何验收。让一次训练跑得更快、给模型补一批数据、改写模型更新参数的规则，都可能提高最终成绩；但每种改动解决的问题不同，可以迁移的范围也不同。只看最后一个分数，容易把它们当成同一种研究能力。
AI4AI-Bench 的论文同时检查成绩和代码改动。它已经找到一些有效的方法替换，也记录了大量低于原始代码的结果。这些证据有助于拆解“AI 改进 AI”的具体过程，尚不足以给递归自我改进下总判断。
改完代码后，从固定起点重新运行
研究者选取的十项任务覆盖监督微调、强化学习、蒸馏、偏好优化、图生成、模型剪枝等不同方向。每项任务都固定研究代码库的起始状态、模型和评估协议，让 Agent 在一张 B300 GPU 上探索四小时。
探索期间，Agent 可以反复调用一种较便宜的测试，帮助自己判断方案是否有希望。它可以修改训练目标、优化器、数据处理与训练安排，但不能改决定最终成绩的评估器。四小时后，只提交源代码补丁，探索时训练出的权重、缓存和中间状态都不带入下一阶段。
正式验证将补丁放进新容器，从规定的模型起点重新运行，最长十二小时。对需要训练的任务，评估器检查至多三个最近的模型检查点，取其中最好的有效结果。这里的“重新运行”是从任务规定的起点重做流程，并非把所有模型都从随机权重开始训练。权重平均和一次性剪枝两项任务原本没有训练步骤，十二小时对它们首先是验证上限；协议也允许 Agent 在方法里增加训练。
原始代码走同一套验证流程，使用相同硬件、时间上限与评估资产。这样，比较的对象就落到了代码改动上：离开探索现场后，这套方法能否再次产生一个更好的模型？
评估隔离仍需准确理解。论文明确说，部分任务的便宜测试和最终测试来自同一语料，前者可能是后者的子集。例如，权重平均任务的探索指标读取部分 ImageNet-V2 图像，最终指标读取完整集合。因此，这个设计保证的是 Agent 在探索时不能调用决定成绩的完整评估过程，不能一概写成它从未见过任何最终测试样本。
290 次测试中，124 次低于原始方案
实验测试了六套模型与运行框架组合，并为其中多数设置不同的推理强度，共得到 29 种配置。每种配置尝试十项任务，形成 290 个“配置—任务”结果。
这些任务的原始指标无法直接平均：有的是答题通过率，有的是图像审美分数，还有的是困惑度，后者越低越好。论文因此设置统一刻度：无有效任务信息的模型对应 0，研究代码库原有方法对应 0.1，指标所定义的理想值对应 1，再将每项结果映射过去。
按这套归一化刻度，全部 290 个“配置—任务”结果的平均分为 0.166。Claude Opus 5 汇总各测试推理强度与任务后的平均分为 0.250，是表现最好的系统；单看一种配置，它在 medium 推理强度下的十项任务平均分为 0.288，为本次测试最高。
29 种配置分别尝试十项任务。数据：AI4AI-Bench；制图：AGI Daily（AI 生成）。
0.250 既不是成功率，也不是“RSI 已完成 25%”。1 是指标的理想端点，并不意味着在十二小时预算下，某个可实现的方法就能到达那里。总分适合在这套任务和归一化规则内比较，不能直接解释为还剩多少可兑现的研发潜力。
同样，124 个结果低于基线，说明改写代码可能让模型变差，验收需要保留原始方法作为对照。它的分母包含同一系统的不同设置，也包含未交付有效模型的尝试，不能把它换算成“AI 科学家的研究失败率”。论文的基线是代码库自带方案，并非人类专家在同等探索预算下重新研究的结果，因而也没有回答 Agent 是否超过人类研究员。
Agent 改了哪些训练环节？
更有信息量的部分，是研究者回头检查 Agent 到底动了哪里。
代码分类没有包含 Kimi K3：其余系统共有 280 份提交，其中 17 份没有可归类的改动。余下 263 份里，141 份只调整运行安排，例如训练多久、怎样保存检查点、学习率和批量大小；122 份触及作者所称的“学习过程”，包括损失函数、监督信号、更新规则或训练数据。
按照这个分类，后者平均得分为 0.226，前者为 0.126。去掉表现突出的多轮强化学习任务后，差距仍然存在。但论文也明确承认，这不是随机对照：更强的系统本来就更常修改学习过程。不能把两组分差全部归因于“选择改算法”这个动作，更不能据此承诺，只要提示 Agent 大胆改写损失函数就会获得同样收益。
分类本身也不是算法新颖性的鉴定。它由另一个语言模型读取代码差异后完成；“学习过程”一类包含训练数据改动，替换成一种已有方法也会落入其中。122 份提交不等于 122 次新算法发现。这里可确认的是改动对象有所不同，是否提出新方法、贡献来自哪一部分，还需人工审查和消融实验。
增加推理强度，确实让更多提交进入这一类。但论文表格同时显示，各系统的成绩并没有随着推理强度一致、单调上升。对工具开发者而言，推理预算是一个可测试的干预变量；从“改得更多”到“改得更好”，仍隔着诊断、实验与验证。
用求解器生成示范，训练模型玩推箱子
论文中的推箱子任务展示了成绩提升如何发生。原始方案让一个语言模型在游戏环境中行动，并通过 GRPO 强化学习更新策略。部分成功提交改换了训练路径：先生成大量棋盘，用求解过程给每一步标出合适动作，再让模型从这些示范中学习。其中还有提交让模型自己走，随后为它走到的状态补上正确动作。
这改变了模型获得监督的方式。原流程需要从自己的尝试和奖励中学习，修改后的流程能直接利用解题器提供的动作信息。论文表格中，一些配置在规定的隐藏棋盘评估上达到满分，表明方法替换确实可以产生很大的任务收益。
但这个结果依赖推箱子环境能够生成问题、求出解法并提供动作标签。它证明了 Agent 在这项任务中找到了更有效的学习路径，没有证明同一套做法可以直接迁移到缺乏可靠解题器的开放研究问题。它采用的模仿学习思路本身也不等于新的通用学习理论。
其他成功案例揭示了同一个实践条件：Agent 需要先弄清实验在测什么。在权重平均任务中，一个提交先加速候选权重组合的评估，再比较不同组合策略；在剪枝任务中，一个提交定位并修复了激活值被错误覆盖的问题，随后加入蒸馏训练。按论文对这些轨迹的分析，有效工作既包含学习方法选择，也包含测量工具和故障诊断。它们很难在实际研究中完全拆开。
系统优化也能让后续训练受益
AI4AI-Bench 作者特别重视学习算法：如果一种更新规则能让模型用更少计算达到同样能力，后续采用它的训练都可能受益。这是一个有根据的研究方向，但论文把它放在 RSI 核心位置，是作者的分析立场，并不是全行业唯一的定义。
自动发现学习算法已有早期成果。Google 等机构在 NeurIPS 2023 发表的 Lion 优化器研究，通过程序搜索产生参数更新规则，再用筛选和简化步骤处理小规模代理任务与目标任务之间的泛化差距。它说明算法发现可以自动化，同时也说明，从搜索中得到一个候选，到在多种实际训练中有效，中间需要专门的验证过程。Lion 并非这次受测的通用编程 Agent，不能拿来直接改写 AI4AI-Bench 的排名。
系统优化也可能被后续训练持续使用。Google DeepMind 在 2025 年的 AlphaEvolve 公告中报告，一项 Gemini 矩阵运算内核提速 23%，对应整体训练时间减少 1%。局部速度与整体收益差别很大，但这项公司报告的收益仍有实际价值。若后续实验沿用同一优化，它不会因为没有修改学习规则就自动消失。
因此，把运行优化、数据改动和学习规则设计分开统计，有助于解释收益来自哪里；把前两类排除在所有自我改进讨论之外，则超出了这套实验能够支持的结论。
代码已公开，改进能否迁移还需验证
截至本文写作时，AI4AI-Bench 的专属仓库已经公开，包含任务、运行编排和源代码补丁重放入口。基准代码采用 Apache-2.0，模型与数据仍受各自上游条款约束。公开材料使外部团队能够进一步核查论文，但代码可访问本身并不等于成绩已经独立复现。
仓库的评估文档还明确区分了本地自托管结果和满足严格校验条件的结果，并说明当前没有官方盲评服务。团队据此跑自己的 Agent 时，需要保存模型、运行框架、资产版本、计算预算与评估记录，不能把改过条件的本地分数直接放到论文排名里。
对于准备让 Agent 改进训练流程的团队，这项研究提供了一套可用的验收顺序：先把原始代码在同条件下跑通，再隔离重跑候选补丁；确认质量改善后，检查贡献究竟来自增加训练、数据变化还是学习规则；最后，把改动放到未参与搜索的任务和模型规模上验证。
AI4AI-Bench 测到了这条路径的前半段。要把一次方法改进进一步称为递归收益，还需要证明它能被下一代系统继承，并让下一轮研究更有效。眼下最有价值的进展，是提交一个能从固定起点重跑、能解释改动机制、在新的训练条件下仍然有效的方法。
