2026 年 9 月 3 日，一组机器翻译研究者公开了 Last Translation Benchmark 的首个固定版本 LTBv1。它没有继续增加一批容易被平均分淹没的普通句子，而是收集 3456 个当时主流翻译系统会在具体环节出错的样本；每题同时给出人工参考译文和一组验收规则，让评测结果能够回答“错在哪里”。
这套设计适合测试模型能力边界，而不是替代常规质量评估。LTB 的样本本来就是围绕失败挑选的，论文也明确把它称为压力测试。对模型团队而言，它的价值是把一个总分拆回可修复的语言现象；对采购或产品团队而言，真实流量上的质量、人类偏好和延迟成本仍需另外测量。
一题一组规则，把模糊分数改成具体失败
传统 BLEU、ChrF 会比较候选译文与参考译文的表面重合程度，COMET 等神经指标则学习人类质量判断。它们适合大规模排序，却不一定告诉开发者模型为何丢分。2025 年发表的 ACES 研究用 146 个语言方向、68 类翻译准确性错误测试 47 个指标，也发现不同指标家族会漏掉不同现象，部分指标倾向表面重合或忽略源句。
LTB 把评测单位改成“一个输入加一组失败条件”。例如，英语问题“Do train and rain rhyme?”译成中文时，规则要求保留英文单词，因为用户问的是两个英语词是否押韵；若把 train 和 rain 直接译成“火车”和“雨”，句子通顺，却已经改掉了问题。另一个英语到德语的样本用“男子 100 米世界纪录”限定护士性别，规则要求德语译文不能采用阴性护士称谓。
这些规则不是正则表达式或可执行程序，而是英文自然语言指令。系统把源文、候选译文和规则交给 LLM 裁判逐条判断；一题的所有规则都通过，才算该题通过。因此，LTB 提供的是更明确的裁判依据，而不是消除了模型裁判本身的不确定性。
样本必须先击败大多数候选系统，再由一名同行审核
投稿者先选择源语言和目标语言，提交文本或图像、音频、视频，并写出能够通过规则的参考译文。平台随后调用最多 10 个翻译模型；一份投稿只有在最多两套自动译文通过规则、人工译文通过规则时，才满足“困难样本”的准入条件。之后，一名具备相应语言能力的贡献者审核样本是否真实、错误是否重要、规则是否适用于一般正确译法，并决定通过或退回修改。
论文称 LTBv1 汇集了 244 名贡献者、166 家机构的投稿，覆盖 109 种主要语言。对公开 JSON 的复算显示，3456 行数据中有 3244 个纯文本样本、164 个图像样本、47 个音频样本和 1 个视频样本；共写有 6558 条规则，平均每题 1.90 条。用于统一跑榜的 LTBv1-eval 是其中 911 个纯文本样本。
覆盖面并不均匀。复算显示，86.3% 的样本至少一端是英语，72.7% 是从非英语译成英语；这与论文四舍五入后给出的 87% 和 73% 一致。它把大量方言、俚语、文字游戏和文化知识带入评测，但不能据此推断 109 种语言在真实使用中的相对难度。
项目还把“10 个通过审核的投稿可获得论文共同作者资格”作为贡献激励。它扩大了语言社区参与，也意味着样本量受投稿者分布、审核资源和游戏化目标共同影响。这里的 peer review 指项目内部由一名贡献者审核样本；截至发布日，论文是 arXiv 预印本，不等于已经通过学术会议或期刊评审。
低通过率证明题目够难，也暴露了裁判依赖
LTB 的榜单以“通过全部规则的题目占比”为主指标，并区分两种模式：盲测只给翻译模型原始输入；Oracle 模式还会提供规则、人工译文或其他特权信息。比较现实翻译能力时，应使用盲测。
论文在 911 题评测子集上测试了 29 个模型，其中 19 个未出现在投稿平台上，避免所有结果都只反映被投稿者针对过的系统。按照数据中保存的 Gemini 3.1 Pro 规则判断结果复算，Gemini 3.1 Pro 的逐题通过率为 39.3%，GPT-5.6 Sol 为 28.1%；人工参考译文为 99.9%。这不是通用翻译质量排名，而是这些模型在特定失败集合、语言支持范围和裁判配置下的结果。
一个更能解释评测机制的实验是：多种 LLM 在盲测下的平均规则通过率为 7.2%，先由模型自行生成规则后为 12.9%，直接把人工规则告诉翻译模型后升至 89.8%。这说明许多题的难点不是模型完全无法写出合格译文，而是它在没有提示时没有识别到需要保留的含义、形式或文化条件。LTB 因而同时测量“能否发现失败条件”和“知道条件后能否执行”。
作者还更换多种 LLM 裁判，规则通过率所得模型排序的平均 Kendall 相关系数为 86.9%，高于通用 LLM 打分的 71.3% 和传统自动指标组的 35.1%。但这仍是论文内部实验，且规则本身可能只覆盖译文的一项局部要求。WMT24 的另一项大规模评测在英语到西班牙语、日语到中文和英语到德语三个方向上发现，经过微调的神经指标依然能较好评估 LLM 翻译。这一结果并不与 LTB 冲突：前者评估代表性测试集上的整体排序，后者故意放大最难、最容易被平均值忽略的失败。
版本、裁判和模式必须一起记录
LTBv1 收录的是 2026 年 9 月 1 日前通过审核的投稿，项目计划持续收集并在 2026 年底前滚动发布新版本。动态补题可以追随模型进步，也会改变分数的分母与难度：同一个模型在不同快照上的总分不能直接视为能力涨跌，公开题目还可能进入后续训练数据。
因此，复现实验至少需要同时报告数据版本与子集、盲测或 Oracle 模式、翻译模型版本、支持的语言范围，以及裁判模型和提示词。模型团队可以把未通过规则按语言现象聚类，用于定位训练数据、上下文理解或输出约束问题；面向用户的翻译产品则应把 LTB 与真实流量抽样、人工评审和代表性测试集并用。
LTB 真正增加的不是又一个总分，而是一张可继续扩展的失败清单。下一步应观察的也不是谁短期登顶，而是新版本能否固定快照、保留裁判配置，并让同一类失败在模型迭代后真正消失。
