同一个数独模型,多运行一些推理步骤,答案真的会变好:8 步时准确率为 74.5%,128 步时达到 97.9%。这组对比来自研究团队 9 月 10 日提交的 《Thinking with Looped Flows》。循环模型本来就能重复调用同一套参数,难点在于如何让早期步骤留下对后续有用的信息;否则,多跑几轮只会重复错误。论文给出的选择是:训练仍只展开有限步,把每一步改成相互关联的去噪任务,测试时再加密推理步骤。
旧方法的麻烦:后一步的错误很难教会前一步
循环模型会反复更新一个隐藏状态,再从中读出答案。完整地沿着许多轮更新反向传播,显存和训练时间都会随着步数增加,还可能遇到梯度不稳定。Tiny Recursive Model(TRM)等方法于是只让梯度覆盖眼前的一步或少数几步,每一步都尝试预测最终答案。
代价是,后面发现的错误无法直接告诉早期步骤该保存什么。早期状态如果只顾尽快给出答案,后续循环可能拿不到继续修正所需的线索。Looped Flows 没有恢复长链反向传播,而是换了训练目标:让短程监督本身带有前后顺序。
从同一团噪声出发,逐步接近答案
训练时,研究者把已知答案与随机噪声按不同比例混合。较早的步骤看到更嘈杂的版本,较晚的步骤看到更接近答案的版本;同一道题的这些版本共用初始噪声,并按噪声递减的顺序送入模型。模型每一步都预测干净答案,同时把隐藏状态交给下一步,但梯度在步骤之间截断。这样,前后任务虽然各有局部损失,内容却沿同一条“噪声到答案”的路径关联起来。
测试时,真实答案不再出现。模型从噪声开始,一边更新隐藏状态,一边根据当前预测把表示往答案方向推进;把时间网格切得更细,就能多调用几次同一模型。论文训练时最多展开 16 步,数独测试用到 128 步。消融实验也给出机制线索:去掉噪声递减安排,ARC-AGI-1 的 pass@2 从 58.8% 降到 51.6%;去掉共享噪声则降到 56.4%。这些是作者在自身设置中的结果,不能把某一个组件单独视为全部收益的来源。
数独收益清楚,六类任务并非项项第一
论文把 Sudoku-Extreme、Maze-Hard、ARC-AGI-1、ARC-AGI-2,以及可产生多种正确答案的 N-Queens、Graph Coloring 分成六类任务。前四类任务中,Looped Flows 采用数独约 500 万参数、其余约 700 万参数的架构,并与已发表的循环模型结果比较。单条推理轨迹下,数独为 97.9%,ARC-AGI-1 为 58.8%,ARC-AGI-2 为 12.2%;后两项是每题允许两次答案的 pass@2,不是官方排行榜上所有系统在同一成本下的名次。Maze-Hard 为 86.7%,低于 FPRM 的 87.0%。
同架构的 TRM 在论文对照表中分别取得 ARC-AGI-1 44.6%、ARC-AGI-2 7.8%;另一条生成式循环路线 GRAM 的两项结果为 52.0%、11.1%。Looped Flows 的 12.2% 来自三次随机种子测试,论文报告波动为 ±1.9 个百分点,与 GRAM 的 11.1% 差距很小。更稳妥的结论是:这套训练法在论文列出的循环模型比较中取得有竞争力的 ARC 成绩,而不是在所有推理系统中领先。ARC Prize 的指南也区分公开、半私有和私有评测集,跨论文或排行榜直接并列分数会混入口径差异。
多解任务呈现另一种收益。同一道 10×10 皇后题重复生成 20 次时,Looped Flows 首次输出有效解的比例为 94.4%,GRAM 为 89.7%;对全部有效解的覆盖率分别为 61.5% 和 57.5%。随机初值让模型有机会走向不同答案,论文还用约束违例和解的覆盖率检查“多样”是否伴随正确,而不只数生成了多少不同输出。
下一步要量的是每多算一步的价格
数独的 8 步到 128 步意味着模型调用次数增加 16 倍,同时准确率提高 23.4 个百分点;论文展示了随步数增加的准确率图,却没有给出对应的实际延迟、FLOPs 或逐步成本表。其他五类任务使用各自的推理步数,不能把数独曲线直接外推到 ARC。数独和 ARC-AGI-2 还用了以模型前一步预测替代部分真实答案的训练技巧,以缓解训练时“提前看到答案”造成的过拟合;这也说明最终成绩来自一整套任务设置。
对研究循环模型的人,真正有用的进展是:短程训练不必让长程推理沦为无效重复。但在决定是否采用这条路线之前,还需要同数据、同算力预算的复现,逐任务测出准确率随推理成本变化的曲线,并检验在更多步数下何时收益递减。论文目前提供了方法、超参数和结果,尚未提供足以替代这些实测的延迟数据。
