大语言模型与进化搜索结合，已在数学猜想、GPU 内核设计、科学定律发现和组合谜题等优化任务上取得进展，包括改进 Erdős 最小重叠问题的已知结果。但研究者注意到，许多方法仍针对单个任务运行搜索，过程中积累的修改和回溯经验，没有被系统地训练成可用于新任务的能力。
明尼苏达大学、CMU、KAIST 等机构的研究者在一篇新论文中提出了 Evolution Fine-Tuning（EFT），试图改变这一点。他们把搜索过程中候选解如何修改、评分如何变化的记录整理成训练样本，用来微调小模型。目标是让模型面对新任务时，更善于提出下一步改进。
现有方法多围绕单个任务搜索，经验难以复用
论文将现有方法概括为两类。这里的进化搜索，是反复生成候选解、评估结果并保留较优方案的过程。
测试时搜索（test-time search） 不更新模型权重，而是让模型提出候选解的修改方案，由外部搜索框架选择已有解、管理候选集合并提供反馈。AlphaEvolve、OpenEvolve、ShinkaEvolve、EvoX 等属于这一路线。许多系统采用大型闭源模型，以获得较稳定的修改建议。作者在实验中观察到，未经这种训练的 9B 以下开放模型较难沿搜索过程持续改进，表现明显弱于大型模型。
测试时学习（test-time learning） 则在搜索过程中通过强化学习更新权重，让模型适应当前任务。ThetaEvolve 和 TTT-Discover 已借此改进若干数学问题的已知最优解。不过，这类训练主要服务于当前搜索，没有专门把不同任务中的经验整合起来，供下一项任务复用。
EFT 希望补上的，正是跨任务积累和复用经验这一步。
从 371 项任务收集记录，再筛选有效改进用于训练
作者把 EFT 称为中间训练阶段（mid-training）：在模型面对新任务前，先用已有搜索记录练习如何修改解法，之后还可以接入搜索或继续强化学习。
具体来说，研究者构建了 Finch Collection——一个包含 156,731 条进化搜索轨迹的大规模数据集，覆盖 10 个领域、371 个优化任务。构建过程分三步：
- 收集种子任务：从 10 个已有 benchmark（包括 AlphaEvolve 数学问题、FrontierCS 竞争编程、ALE-Bench 算法工程、GPU Mode kernel 优化、LLM-SRBench 符号回归等）中选取需要非平凡搜索、能用确定性评估器给出连续或可比较分数的任务。
- 运行进化搜索：由教师模型 Qwen3.5-397B-A17B 提出修改，使用 OpenEvolve 搜索框架运行每个任务，同时尝试局部修改（diff-based edit）和整体重写（full rewrite），共生成 172,997 条原始轨迹。
- 过滤清洗：剔除评测器错误、超时、语法错误等系统性故障，以及把有效解改坏、无法修复或文本过长等样本，最终保留 90.6%，即约 156K 条轨迹。
每条记录对应一次从已有解到新候选解的修改过程：任务指令、父代解、搜索历史、评估器反馈、生成解、分数变化。数据集的编程语言分布为 68.5% Python + 31.5% C++，变异策略分布接近 50:50。
研究者从 355 个任务中选取让评估结果变好的记录，另外留出 16 项任务用于测试。最终用于监督微调（SFT）的样本为 30,445 条，对 Qwen3.5（2B/4B/9B）和 Qwen3-8B 进行全参数训练，得到 Finch 系列模型。不同任务的评分方向不同，改进可能意味着分数升高，也可能意味着误差降低。
新任务整体表现提升，部分任务仍会退步
将 Finch 接入 OpenEvolve 提出候选修改后，作者在 22 项未用于训练的任务上报告了平均 10.22% 的相对提升。各项任务使用不同指标，结果也并非全部提高：部分模型在 Hadamard 或 EPLB 等任务上出现退步。具体例子包括：
- Finch-9B 在算法工程任务 ahc058 上相对原模型提升 290.59%；Transaction 数据库优化任务中，提升 74.30% 的是 Finch-4B。
- Finch-4B 在 Erdős 问题上达到 0.3865（越低越好），优于两倍参数量的 Qwen3-8B 的 0.4036，显示出针对性训练在这项任务上的作用。
- 在 6 道 FrontierCS 优化编程题上，Finch-9B 平均得分 46.01，高于 Qwen3.5-9B 基座的 32.46。这组题目中有一道来自 UC Berkeley 的 CALICO 竞赛。
作者还把训练任务数从 15 增加到 355，在 AC2、圆形填充和 PRISM 三项留出任务上观察到持续改善，平均提升 14.1%。这支持继续扩充任务种类的方向，但尚不能单独分离任务多样性与数据量增加各自的作用。
研究还发现，在 SFT 基础上进一步用 KTO 做偏好学习（让模型学会区分好解和坏解），Finch-8B 在第一和第二自相关不等式（AC1/AC2）上超越了论文列出的人类最佳分数。当 Finch-8B 与测试时强化学习工具 nanodiscover（TTT-Discover 的开源复现）结合时，在两个圆形填充（circle-packing）任务上追平论文列出的最优结果。
模型尝试借用其他领域的方法改进解法
论文还分析了模型在个别任务中怎样选择方法。在一个竞争编程任务中，基座模型 Qwen3.5-9B 只反复尝试同一种领域内策略——Gauss-Seidel 统一权重。Finch-9B 则尝试了其他领域的方法：将推荐系统中的 log-domain 交替最小二乘法、数值优化中的 Levenberg-Marquardt 方法应用到竞争编程问题的求解中。
另一个案例显示，Finch-9B 在 Convolve2D 任务上主动将实现从 scipy 切换为 jax 以提升计算效率——研究者推测这是因为 Finch Collection 中大量涉及 jax 库的轨迹（来自不确定性不等式和矩阵乘法任务）让模型内化了"用 jax 加速"这一跨域可迁移的模式。
训练后的模型仍需搜索框架，跨框架效果尚待验证
EFT 把搜索记录用于训练，改进了框架中负责提出候选解的模型。部署时，评估器、候选解管理和搜索预算仍然不可少。
模型可以在搜索中保持权重不变，也可以继续通过测试时强化学习适应任务。EFT 提供的是一个经过跨任务练习的起点，能否找到更好的解仍取决于具体任务与搜索过程。
论文附录借用了 Vygotsky 的「脚手架」概念来解释两类辅助方式：测试时搜索由外部框架组织改进，测试时学习则让模型根据经验更新自身。作者希望经过 EFT 的模型能在两类框架中都更好地工作；这是一种解释训练目标的类比，实际效果仍要由实验检验。
论文列出了几项限制：目前 Finch Collection 只用 OpenEvolve 收集记录，搜索评估也以此为主，模型换到 EvoX 等其他框架后能否保持优势尚待验证；测试时强化学习的组合实验仅限数学任务，尚未扩展至 GPU 内核工程等应用；当前训练主要使用单轮输入输出，多轮交互中的持续优化仍需探索。
研究团队已将 Finch Collection 数据集及 Finch 模型权重在 Hugging Face 上开源（CC-BY 4.0 / Apache 2.0），并额外发布了使用 GPT-5.4 和 Gemini-3-Flash 作为教师模型的新增轨迹。项目代码托管在 GitHub 的 Open-Galapagos 组织下。
