一套 519 题的 Agent 评测，每跑一遍约要三小时。9 月 18 日公开的一项研究分析了 52 天内的 574 次历史运行，最终把 100、200、300、400 题四档固定子集投入生产，而没有采用平均误差最低的自适应抽题方法。
在 200 题预算下，固定分层题单估计完整通过率的平均绝对误差为 1.40 个百分点，优于随机抽题的 1.79 个百分点，逊于多维自适应方法的 1.03 个百分点。团队接受 0.37 个百分点的误差差距，换来题目并行执行、运行前负载可知，以及连续版本之间逐题追查回归的能力。
这组实验测量的是总分估计，不是发布门槛附近的故障拦截。论文没有报告漏报、误报和放行决策一致率，因此固定子集在当前证据下是一条高频工程信号；全量评测继续承担定期校准和关键回归检查。
574 次历史运行用来估算完整通过率
研究来自一个已服务数万月活用户的数据分析 Agent。内部分析师编写问题，自动评分器给每题判通过或失败。作者收集 52 天内 574 次评测运行，按时间先后分成 287 次校准和 287 次留出测试；只保留至少 80% 题目有有效结果的运行，并以有效题目的通过率作为该次完整评测参照。时间切分隔离了先后运行；它验证的是同一组织、同一题库内的历史外推。
以 200 题预算比较，均匀随机抽题估计完整通过率的平均绝对误差为 1.79 个百分点；按历史难度分层挑固定题目、再用统计模型补估未跑题目，误差为 1.40 个百分点；多维题目反应模型每看到一题结果就选择下一题，误差为 1.03 个百分点。200/519 约为 38.5%，因此可说执行题数减少约 61.5%。这组实验没有测出同等比例的费用或墙钟时间节省，尤其自适应方法必须等待前一题的结果才能决定下一题。
图中“误差”是 287 次留出运行的平均值，不是每次预测都落在 1.03 个百分点以内。论文还测了跨运行的排序相关性：200 题时，多维自适应方法的 Spearman 相关系数为 0.982，固定分层方法为 0.972。这些指标只覆盖总分和排序。发布闸门还需要单独测量阈值附近的漏报、误报以及放行决策一致率，论文未提供这组结果。
固定题单同时支持并行执行和逐题排错
固定子集先用历史运行估计每道题的难度，再把 519 题沿难度范围分层，每层选代表题。题单构建一次即可复用；团队能在运行开始前确定负载，并把题目并行执行。连续两次版本评测使用同一题单时，还能直接看某道题的通过状态如何变化。自适应抽题则要在一次运行中反复更新能力估计、按已见结果决定下一题，并维护逐轮状态。作者称现有评测系统为并行执行而设计，因此将 100、200、300、400 题四档固定子集投入生产，供使用者选择题量与误差的取舍。
固定方法换来的是工程可操作性，而非最低统计误差：同为 200 题，固定分层比多维自适应的平均误差高 0.37 个百分点；团队由此获得更可预期的执行和更容易追查的逐题变化。这一决定也说明，早期 tinyBenchmarks 研究在公开模型基准上证明“少量代表题可以估分”，到了持续更新的 Agent 系统，还需要回答题单怎样进入并行流水线、怎样支持排错。
固定题单迁移到五类 Agent，误差为 1.47 个百分点
作者把原 Agent 校准出的固定题单和参数原样用于另外五类 Agent 的 299 次运行。同为 200 题，合并后的平均绝对误差为 1.47 个百分点，低于随机抽题的 1.86 个百分点；五类系统虽然框架、工具和模型配置不同，仍共享同一套评测问题；1.47 个百分点验证的是跨 Agent 迁移，不覆盖跨题库迁移。校准窗口缩到最后一天的 14 次运行时，200 题方案误差为 1.41 个百分点，与四周 287 次校准得到的 1.40 个百分点接近；作者也只把这种稳定性归于研究所覆盖的成熟开发阶段。
另一项关于题目反应模型可靠性的研究提醒，样本规模与能力分布会影响模型参数和排序的可信度。这篇生产评测论文给出的价值是按时间留出数据、直接比较多种省题方案，以及公开“误差最低却未部署”的工程选择；它没有公开题目、逐题结果矩阵或实现，外部无法复算该生产系统的结果。
团队若据此建立快速评测，最该把固定子集视为日常信号：在模型、工具或题目结果持续变化时重新校准，定期跑完整 519 题检查估分偏差。把固定子集升级为发布闸门，需要补测实际放行阈值附近的关键回归漏报率。
