一个科研 Agent 找到了得分最高的实验配置，是否就说明它知道哪个组件有效？9 月 23 日提交的预印本 WhatWorkedBench 给出的答案是：两件事可以同时发生——系统选对最优点，却把组件在其他组合中的作用判断错。
在 22 个四组件任务中，一套加入两两交互项的岭回归方法拿到 15 个精确最优配置；其中 13 个任务仍至少有一个组件效应误差超过任务得分区间的 10%。真正让所有组件效应都落进这条误差线的任务只有 3 个。对于准备把实验结果写进研究结论、训练配方或下一轮资源分配的团队，“找到冠军配置”和“知道为什么赢”是两种能力。
把选最优点改成补完整张实验地图
以往科研 Agent 基准常把重点放在提出实验、实现代码或跑出更高分。EXP-Bench 要 Agent 从研究问题出发，完成假设、设计、实现、执行和分析；AblationBench 则检查模型能否规划论文需要的消融实验。WhatWorkedBench 把问题再往后推一步：实验已经做完，Agent 到底从有限结果里学到了什么？
每个任务包含 4 个或 6 个二元组件开关，对应 16 或 64 种合法配置。Agent 先免费看到“全部关闭”和“全部开启”两个锚点，再购买最多 8 次或 20 次新测量，最后必须为所有配置提交一张得分表。评测器已经用 CPU 穷举过完整空间，因此能逐一检查：在其他开关固定时，切换某个组件会让得分变化多少。
这张完整表被称为响应面。它保留了平均效果会掩盖的条件差异：论文中的 SciFact 检索任务里，“二值词频”在关闭次线性词频变换时让 NDCG@10 提高 0.160，打开变换时反而降低 0.084。36 个任务中有 35 个出现过这种效应反转；即使要求正负两侧都超过得分区间的 5%，仍有 24 个。只汇报“哪个组件平均更好”，会丢掉组件之间最需要解释的依赖关系。
论文用 effect recovery 衡量恢复程度：先计算预测组件效应与真实效应的平均绝对误差，再除以任务中真实效应的平均幅度；误差与真实效应一样大时记为 0，完全恢复记为 1。它不是准确率，也不能跨越任务口径直接解释为“理解了多少科学规律”。
同样八次新实验，换估计器提高了平均恢复
最有价值的对照不是让另一套系统重新挑实验，而是固定 Agent 已经购买的观察，只替换后端估计器。在最初一组 DeepSeek V4.1 Flash 记录中，Agent 提交表的平均 effect recovery 为 0.632；把同一批观察交给高斯过程（GP），平均值升至 0.698。第二批六个任务上，这组数字从 0.621 升至 0.720。
公开记录也给出了这项平均增益的边界。AGI Daily 按仓库中的真实响应面、Agent 提交表与观察记录重新计算了最初 12 次八预算实验：六个数据源中，GP 在四个上更高，在 Wine 聚类和 SciFact 检索上略低。0.632 到 0.698 说明一套统一数值模型平均能从同样证据中提取更多信息，不代表它逐任务胜出，更不能把差距全部归咎于语言模型。
Agent 并非只是在复述已测单元格。最初这组八预算实验中，67.4% 的组件效应至少有一个端点没有实测；用已观察得分的均值补齐未测配置，recovery 只有 0.287，而 Agent 提交表达到 0.632。问题更准确地说，是 Agent 已经做了有效外推，但它的实验选择、数值拟合和最终交付混在一个流程里，无法只凭总分判断瓶颈在哪。
代码规则被认出来了，却没有进入最终预测
六组件任务暴露了更具体的断点。工作流代码中存在可验证的等价关系：例如某个滤波器关闭后，滤波宽度开关不再改变实际计算，多个配置应产生完全相同的输出。作者安排了 8 次诊断实验；4 个只看代码的 Agent 和 4 个额外收到规则清单的 Agent 都能报告六条规则，但 8 张最终得分表全部违反了这些等价关系。
把这些表在事后投影到正确的等价类上，且保持观察不变，平均 recovery 从 0.338 升到 0.507。另一组数值控制在 20 次新测量下，把代码等价类同时用于选点和 GP 推断，recovery 从 0.248 升到 0.462。后一个比较同时改变了实验获取与推断方法，不能写成“只加一条代码规则就翻倍”；它证明的是，程序结构可以压缩搜索空间，而当前 Agent 尚未稳定把读懂的规则落实到数值产物。
论文自己的“完整代码”对照也没有显示稳定优势：六组件任务中，看完整工作流与只看掩码、得分的 Agent，在两批实验里各有胜负；固定观察后，GP 在两批中反而都更偏向后者。这排除了一个方便但过早的解释——仅仅扩大上下文、把更多代码交给 Agent，并不会自动转化为更好的实验理解。
这测的是受控工作流，不是完整科学发现
WhatWorkedBench 的 36 个任务来自 30 个数据源、8 类工作流，共 1248 条配置结果，覆盖分类、回归、聚类、预测、图像复原、检索、心电节拍检测和图链接预测。项目代码采用 Apache 2.0，数据仍分别受上游条款约束。作者公开了任务、参考结果、观察轨迹与审计脚本；AGI Daily 运行仓库审计后，4206 条数值控制记录均能由评测器重新计分，1248 条原生结果的记录数也与目录声明一致。
这些优点也决定了外推上限。任务被压缩成 4 或 6 个二元开关，单次结果由固定代码、随机种子与评测集定义，CPU 可以穷举整个空间。真实研究还包含连续超参数、随机训练波动、不可复现实验、昂贵测量和会随时间变化的目标。论文只评测了两个 DeepSeek API 标识，且部分 Pro 运行遭遇限流或超时；缺失交付按 0 分计入，这使总分同时包含模型推断与工程可靠性。
CAFE 也用因子设计和交互项解释复合 AI 系统，但它依赖 LLM 评委与人工评分，并用混合效应模型估计显著性；WhatWorkedBench 则用可执行程序给出确定的完整参考面。二者共同指出一个更实用的工程要求：科研 Agent 不应只返回最佳配置和一段自然语言解释，还应交付可检查的预测表、效应估计与不确定性，并把“选了哪些实验”和“如何从实验推断”分开评测。
这项基准没有证明科研 Agent 普遍不理解实验。它证明了一个更窄、也更可操作的问题：在这些可穷举工作流里，找到高分配置不足以支持组件归因；下一步真正值得比较的，不是谁又跑高了一个点，而是谁能用有限证据画出更可靠的整张地图，并在代码约束下保持自洽。
