8 月 9 日，Ante benchmark 的作者在 r/LocalLLaMA 上发布了一组数据：他用自己开发的、完全独立于 DeepSeek 的评测框架 Ante 0.preview.71，在 Terminal-Bench 2.1 上对 DeepSeek V4 Flash 0731 跑了 445 次试验。结果——368 次成功，准确率 82.7%，标准误差 ±1.79%。与 DeepSeek 官方 7 月 31 日公布的数字完全一致。
第三方使用不同框架测得相同的一位小数成绩，为官方结果提供了一个独立参照。不过，同分还不能说明两套测试过程等价；同一模型在其他框架下也出现了不同成绩。要理解 82.7%，需要同时看测试配置、原始记录和统计误差。
框架不同，但报告的得分同为 82.7%
先看两组测试配置的差异。
DeepSeek 官方在 API changelog 中注明了评测条件：使用尚未开源的 "DeepSeek Harness minimal mode"，max reasoning effort，top_p=0.95，temperature=1.0。Ante 作者则用了完全不同的技术路径：Ante 0.preview.71 框架，通过 OpenRouter 调用模型 deepseek/deepseek-v4-flash-0731，同样设置 max reasoning effort，但不启用 skills 模块。两套框架在代码实现、提示词模板、工具调用封装和结果解析上没有任何共享代码。
结果：445 次试验，368 次成功，82.7%（±1.79 SE）。
完整的评测记录托管在 Harbor 上，任何人都可以查阅——锁定的配置文件、全部 445 条试验的 reward 值、异常记录、持续时间和 token 消耗。数据显示总输出 token 约 3893 万、输入 token 约 2703 万、缓存 token 约 32.8 亿，42 次错误、0 次重试，平均 reward 为 0.83。
Ante 作者在帖子开头即声明自己就是 Ante 的开发者，没有回避利益关系。公开身份有助于读者判断利益关系，445 条原始试验记录及配置文件则为核查结果提供了条件。
另一框架测得 79%，分差不能只归因于框架
除了这两组 82.7%，还有一组不同的第三方成绩。
Artificial Analysis 在同一天（7 月 31 日）发布了对同一模型的独立评估结果。他们同样在 Terminal-Bench 2.1 上测试了 DeepSeek V4 Flash 0731，用的是自己的评测框架。分数是 79%——比 Ante 和 DeepSeek 官方低了 3.7 个百分点。
同一个模型、同一个 benchmark、不同评测框架，分别得到 82.7% 与 79%，相差 3.7 个百分点。仅凭这两个分数，还不能排除随机波动，也不能确定框架贡献了多少差异；还需比较两组试验的样本、配置和不确定性。
HuggingFace 上 DeepSeek V4 Flash 官方发布的社区分析文章对此早有预警。作者明确写道："Agentic benchmark scores are framework-dependent... harness choice alone can shift these numbers by 10+ points."但在本文的案例中，两个得到 82.7% 的不同框架碰巧撞在了一起，而第三个框架得到了不同的结果，这提示读者在比较分数时，不能忽略框架差异，但也不能把观察到的全部分差都归因于框架。
排行榜比较的是模型与框架组合，不能直接给模型排位
理解 82.7% 的含义，需要把它放在 Terminal-Bench 2.1 的官方 leaderboard 中。
截至 8 月 9 日，tbench.ai 官方 leaderboard 排名前五的是：Claude Code + Fable 5（xhigh）83.8%、Codex + GPT-5.5（xhigh）83.1%、Terminus 2 + Fable 5（high）80.4%、Cursor CLI + Grok 4.5（high）79.3%、Claude Code + Opus 4.8（high）78.9%。
但这张表存在一个根本性的不可比性：每条 leaderboard 条目同时取决于模型和 agent 框架。Claude Code + Fable 5 的 83.8% 与 Ante + DeepSeek V4 Flash 的 82.7% 之间，隔着的不仅是模型能力的差异，还有 Claude Code 和 Ante 两个框架在提示工程、工具调度策略和错误处理上的设计差异。直接说"DeepSeek V4 Flash 在 Terminal-Bench 上排名第三"会混淆模型与框架的贡献；要比较模型本身，需要统一框架等测试条件。
更审慎的比较来自 DeepSeek 自己的对照表：在统一的 DeepSeek Harness minimal mode 下，Opus 4.8 是 85.0%，V4 Flash 0731 是 82.7%。两者得分相差 2.3 个百分点；价格方面，Opus 4.8 的 API 输入价格是 V4 Flash 的十余倍。
多轮工具操作，使环境和错误恢复策略影响得分
常规 benchmark——MMLU、GPQA、HumanEval——是单轮、固定输入的。固定输入与解码设置有助于复现，但仍需控制实现和运行环境。
Agent benchmark 则是多轮、状态依赖的。Terminal-Bench 的任务要求模型在真实的 shell 环境中操作多个回合：安装依赖、调试构建、配置服务器、管理 git 仓库。模型在每一步的选择都会改变后续的状态空间。评测框架需要处理：
- 提示词模板如何向模型描述可用工具和约束——直接影响行为策略；
- 工具调用的序列化和解析——模型输出的结构化指令如何被转换为真实的 shell 命令；
- 错误恢复逻辑——当模型生成无效命令时，是否自动重试、如何把错误信息传回模型；
- 超时和资源限制——每个任务允许多少轮交互、每轮允许多少 token 消耗；
- 环境配置——Docker 镜像版本、系统包版本、网络可用性。
这些变量的任何差异都可能导致分数偏移。Ante 和 DeepSeek Harness 在所有这些维度上都是独立实现的——却得到了完全相同的结果。Ante 作者对此未做过度解读；他在帖子末尾只写了一句："Deep seek v4 seems to be sensitive to harness and this is probably useful data for anyone who is interested."
完整配置与失败记录，让第三方能够检查结果
Ante 这次验证最有价值的部分，可能不是 82.7% 本身，而是它展示了一种可操作的独立评估模式。
Harbor 是一个用于运行和共享 benchmark 评测的公开平台。Ante 作者将完整的配置和 445 条试验记录上传到 Harbor：任何人都可以查看每条试验的 reward、异常、耗时和 token 消耗。这 42 次错误到底是模型生成了无效命令、超时、还是环境问题——所有这些信息都是公开可查的。这些细节让读者能够检查分数背后的执行过程。
这次评测展示了一种可供参考的做法：除聚合分数外，同时公开配置、原始记录和失败模式。只有最终分数的报告，很难支持对具体差异的核查。
当然，这次验证也有明确的局限。它来自 Ante 项目作者——数据完全公开，但利益关系仍然存在。它只覆盖了 Terminal-Bench 2.1 一个 benchmark。它只测试了一个模型。这些都不减损数据的价值，但真正的目标状态是：不同的独立方，用不同的工具，跑同一个模型，并且所有数据都公开。
同分提供独立参照，框架影响仍需进一步对照
DeepSeek V4 Flash 0731 在 Terminal-Bench 2.1 上的 82.7% 分数，在一个使用不同评测框架的独立测试中再次出现。在 DeepSeek Harness 尚未开源、外界无法直接用官方工具链验证的背景下，这是一个有价值的可靠性信号。
但同一个模型、同一个 benchmark，也在不同框架下给出了 79% 或 82.7%。这 3.7 个百分点的差距究竟有多少来自框架、多少来自其他条件和随机波动，现有信息还不能分清。在行业能够就评测框架的标准化达成共识——或者至少要求每份分数附带完整的、可审计的评测记录之前，任何单一的 agent benchmark 分数都不应被当作模型能力的最终结论。
下一个关键变量是 DeepSeek 承诺即将开源的 Harness 框架本身。当官方评测工具也可以被独立审计时，才更便于检查 82.7% 的同分结果是否稳定，以及两个框架的关键设计有何异同。
