一个代码 Agent 要修复文件上传接口。路线 A 单独写一个目录校验函数，确认目标位于上传根目录内，并在失败时删除临时文件；路线 B 把检查塞进现有控制器，出错后交给统一的异常处理。两种做法在当下都说得通，直到后续隐藏测试揭示：B 遗漏了临时文件清理，整次任务因此失败。
这类“眼前合理、很久以后才付出代价”的选择，通常被最终通过率压成一个成败数字。9 月 22 日公开的预印本《The Tasteful Agent》把它单独截出来：Taste-Bench 冻结 Agent 到达分叉前的轨迹，隐藏后续工作，让模型在两条下一步路线中选择。结果显示，14 个受测模型里，最高分也只有 59.7%。更重要的是，决定答案的证据出现得越晚，模型表现越接近随机猜测；给模型更多推理预算没有稳定补上这一缺口。
轨迹的后半段，反过来给前面的选择贴标签
Taste-Bench 不请专家凭直觉逐题标注“好方案”，而是从已经跑完的轨迹中找分叉。平行分叉比较同一任务的独立尝试：它们在相近状态下选了不同路线，之后取得不同结果。绕路分叉来自同一次运行：Agent 先走上一条路、撞墙，再换方向完成局部修复。评测只展示分叉前的任务、进展和两个中性描述的候选动作，后续结果留作标签依据。
原始材料包括 517 个 SWE-bench Pro 任务上的 2677 次已评分运行，以及 47 个 AI 研发任务上的 1132 次运行。生成模型先提出 4657 个候选分叉，只有 1809 个通过生成规则；再剔除只看选项措辞就能猜中的题，以及四个判别模型看到完整后续仍不能一致确认标签的题，最终留下 502 道，保留率为 10.8%。其中工程题 390 道、研究题 112 道；绕路分叉 330 道，平行分叉 172 道。
这套流程把昂贵的专家标注换成了历史运行留下的后果，也把基准的含义限定得很清楚：它测量模型能否选中这批记录里后来得到较好结果的路线，不是在所有随机种子、执行质量和资源预算下寻找普适最优解。
59.7% 是宏平均，逐题计算是 292/502
每道题会被问两次，第二次把两个选项完全调换位置。只有两次都选对，才计为答对；跟着选项位置走的答案不会计入正确。按这套协议，随机猜测两次都对的概率是 25%，始终偏好同一位置则得 0 分，不可解析的输出也按错误处理。
论文的 59.7% 不是“502 题里答对 59.7%”的直接比例，而是研究、工程两个子集等权后的宏平均。AGI Daily 复算作者仓库里的逐模型结果：榜首 GPT-5.6 Sol 在工程题上双顺序都答对 222/390，即 56.9%；研究题为 70/112，即 62.5%；两者等权平均为 59.7%。若直接按 502 道题计数，则是 292/502，即 58.2%。宏平均避免题量更多的工程子集主导总分，但引用榜单时需要把口径说清。
这个分数也不是终局能力的改写。11 个可比较模型的 Taste-Bench 宏平均与 SWE-bench Verified 分数相关系数为 0.63，而最接近的工程子集相关系数只有 0.37。也就是说，一个模型能否最终修好更多仓库问题，只能部分解释它在中途分叉处的判断。
证据越远，更多思考也补不回来
研究者按“要看到多远的后续，才能确认哪条路线更好”把 502 道题分成四档：分叉前已有决定性事实 158 道，可从已有线索推断 219 道，下一步才出现证据 56 道，需要完成局部检查或更多工作 69 道。14 个模型的平均准确率从第一档的 62.3% 一路降到最后一档的 21.0%，后者已经接近这套双顺序协议下 25% 的随机水平。
这不是简单的“推理 token 不够”。研究者让 GPT-5.6 Sol 和 GPT-5.6 Luna 分别在三档推理强度下重跑，共得到 6024 个回答；没有回答撞上 token 上限，只有一个无法解析。从最低到最高推理强度，Sol 变化为 -0.2 个百分点，Luna 为 +2.2 个百分点，两组置信区间都跨过零。模型反而在“需要更多工作”这一档使用最多推理 token，却仍然最不准。
原因可以从任务定义本身看出：当决定性证据尚未发生，延长同一份静态上下文里的思考，并不会自动产生一次测试结果、一次实验损失或后续代码约束。对实际 Agent 系统，这提示评测与产品设计都应把“是否现在就下注”同“是否先做一个低成本验证”分开；单纯提高推理档位，不能替代主动获取信息。
后见标签通过了抽样复核，也继承了原始轨迹的偏差
两名人工审阅者复核了 100 道抽样题，其中包含 70 道发布题和 30 道被过滤题。看过后续结果后，他们给出的 172 个明确 A/B 判断中，170 个支持自动挖掘的标签，符合率为 98.8%。这说明筛选后的题目大多能从记录到的后果中得到一致解释。
它仍未证明那条路线具有反事实上的必然优势。分叉由 GPT-5.6 Sol 生成，标签依赖特定运行的执行质量和原生评分器；研究题只有 112 道。工程轨迹全部取自 517 个 SWE-bench Pro 任务，而 OpenAI 在 2026 年 7 月对该基准公开集的审计估计约 30% 存在过严测试、提示缺项、测试覆盖不足或误导性要求。论文没有报告这 517 题与审计问题清单的重合情况。Taste-Bench 的一致性过滤能排掉后果无法支持标签的分叉，却不能自动修复上游任务与评分器的全部缺陷。
因此，59.7% 更适合解释为“模型在这批经筛选的历史分叉上，稳定选中后来奏效路线的能力”，不能外推成通用决策能力只有六成，也不能把同一条历史路径当作任何新运行的答案。
训练能迁移判断，但端到端增益依赖同任务的旧轨迹
论文还用 Qwen3.6-27B 做了两折、任务不重叠的 LoRA 蒸馏：教师能看到被支持的路线，学生只看分叉前信息。在 390 道工程题的交叉折叠评测中，学生双顺序都答对 187 道，基础模型为 117 道，说明学到的判断没有停留在训练任务的题面上。
端到端实验的边界更值得注意。研究者在 41 个训练时未见的 SWE-bench Pro 任务上，先从这些同一任务的早期运行挖出 98 个分叉，再把学生对每个分叉的选择写成任务前置建议。固定执行器不看建议时成功率为 14.6%，使用学生建议时为 33.7%，使用全部正确建议时为 39.0%。学生在 98 个分叉中选中 77 个受支持路线。
这证明历史轨迹可以被压缩成对下一次运行有用的决策提示；它尚未证明模型无需同任务经验，就能把“品味”迁移到任意新问题。真正决定这条路线能否用于生产的下一项变量，不是再把推理档位调高，而是能否低成本积累同类任务的多次尝试，并把偶然成功、执行差异和评分器缺陷从可复用的判断中分离出来。
