2026 年 7 月底上线 arXiv 的一篇论文，考察了企业 AI 部署中常被演示效果掩盖的成本：模型完成任务之后，人还要检查多少输出。研究同时比较准确率、重复运行的一致性和引用是否可核查，尝试解释一次成功演示为何不足以支持投产。
这篇题为《The Checking Problem: What must be true before AI ships in a regulated firm》的论文，对四种模型家族、六种文档密集型金融工作流、三种工具配置进行了 72 组测试。每组配置分别接受两次评估：一次按「演示门槛」（单次正确即通过），一次按「生产门槛」（要求持续准确、可复现、可归因、置信度信号有信息量）。
72 组配置中，57 组通过了演示门槛，32 组通过了生产门槛，占演示通过者的 56.1%。 即在这项实验中，近一半通过演示的配置未满足作者设定的生产门槛。
生产门槛增加重复性、引用和置信度检查
论文用两套标准比较一次成功输出与持续可用之间的差别。
演示门槛很简单：跑一次，对一个案例，所有输出元素正确。这模拟了仅向项目评审会展示一次成功运行的试点验收方式。
生产门槛包含以下四项条件，各配置须满足其中适用的项目；摘要任务 W5 不评估逐项输出的可复现性：
- P1 准确率：所有案例、所有重复运行中，逐元素正确率不低于 0.99；
- P2 可复现性：相同输入在固定参数下返回相同输出；
- P3 可归因性：工具引用的来源段落确实存在于原文中（阈值 0.95）；
- P4 可检测性：工具输出的置信度能区分正确和错误（AUC 不低于 0.70，0.50 意味着置信度信号毫无信息量）。
演示门槛只测了 P1，且只测了一次、一个友好输入。这样的演示无法检验 P2、P3 和 P4，因此可能让未满足这些要求的配置通过试点验收。
论文还注明另外三项生产要求（人工签核记录、跨版本行为稳定性、数据边界合规）属于控制环境而非输出本身的属性，未纳入测量。因此，通过本实验测量的门槛，仍不等于满足全部生产与合规要求。
字段提取表现稳定，对账和真实文件任务更难
实验覆盖了六种工作流，从零容错的字段提取到高判断要求的跨文档对比：固定字段提取（W1）、实体筛查（W2）、跨文档对账（W3）、监管分类（W4）、带归因的摘要（W5）、多文档比较（W6）。W1 到 W4 使用合成文档（用确定性脚本生成，不涉及语言模型），W5 和 W6 使用真实 SEC EDGAR 备案文件。
使用合成文档而非真实文档是有意为之的方法学选择：真实文档的答案需要人工标注，人工标注也可能出错。合成文档先生成答案，再围绕答案构造内容，可以减少标注中的主观判断，但生成脚本和答案键仍需检查。作者认为合成文档比真实文档更「干净」，测得的性能可能偏乐观。
不同工作流的表现差异巨大。固定字段提取在本实验中达到满分——跨所有模型和配置的准确率为 1.000。实体筛查平均准确率为 0.983。对账是最弱的工作流（0.799），监管分类居中（0.889）。
对账任务最清晰地展示了「演示陷阱」。某一个开源模型在对账上的准确率是 0.319，而在整个测试集上是 0.927。它回答「账目是否对得上」这个二元问题时接近随机水平，正确给出差异金额的频率更低。一个只问「工具能不能发现对账差异」的演示，会认为这个工具正常工作；一个需要实际金额的生产流程，会发现它在猜。
在真实 SEC 备案文件上（W5 和 W6），情况更不乐观。两个工作流没有任何一个配置通过生产门槛的全部适用标准。可检测性是最常见的问题：W5 的置信度 AUC 均值仅 0.520——与随机猜测（0.50）几乎无异。在这组摘要任务中，模型报告的「自信程度」几乎无法有效区分正误。
来源和置信度将估算审阅负担降至约一半
论文进一步估算了审阅负担：生产环境中，人仍然需要检查多少比例的输出。
论文通过置信度分级策略来估算审阅负担：审核者按置信度从低到高排序输出项，优先检查最不确定的部分，直到累计误差落在可接受范围内。报告的审阅负担有两版：「先知」（oracle）版事后选择最优阈值，是依赖事后信息的乐观下界；「可操作」（operational）版在一半案例上校准、在另一半上验证，模拟真实部署中 pilot 样本校准后上线运行的场景。
关键数字：
- C1 Plain（直接执行任务）：操作审阅负担 100%。不输出置信度信号的工具，审核者没有分诊依据，只能全部检查。在这套按置信度分配审核的策略中，没有置信度就无法设置可用的筛选阈值。
- C2 Governed（引用来源 + 输出置信度 + 允许拒绝）：操作审阅负担降至 49%，在 20 组配置中的 17 组保持了误差容忍度。这种配置减少了需要检查的输出，但仍有部分配置超出误差容忍度。
- C3 Verified（C2 + 自我复核）：操作审阅负担 44%，但延迟是 C1 的 2.3 倍，20 组配置中有 16 组保持误差容忍度，少于 C2 的 17 组。
在直接执行任务的 C1 配置中，可操作版本估计的审阅负担约为先知版本的 2.7 倍。这提示评估者需要区分事后最优阈值和可在新案例上使用的校准阈值。
更复杂的配置未带来显著准确率收益，引用可追溯性有所改善
在此次实验中，从 C1 直接执行升级到包含引用、置信度和自我复核的 C3，没有检测到准确率收益——在 15 组可比较的配对中，4 组改善、11 组恶化，均值变化 -0.0168（统计不显著）。可复现性同样没有改善。这一比较涉及整套配置变化，不能单独归因于自检步骤。
C3 在可归因性上有所改善：相对 C2，平均归因率从 0.933 提升到 0.952。这表明，自检是否值得增加延迟，要结合具体风险判断：本实验中它改善了引用可追溯性，但没有改善输出一致性。
增加一轮模型调用没有在所有指标上带来收益。团队需要分别衡量来源引用、置信度和自检步骤的贡献，而不能仅以流程更复杂作为改进依据。
试点验收应同时测准确率、审核比例和人工成本
论文在第七节提出了如果「审阅成本而非错误频率是部署的约束条件」会产生的三个推论：
对供应商的提问方式需要改变。 除了问「它有多准」，还应问「它知道自己什么时候错吗？它的引用可以追溯吗？」准确率是每个 pilot 都报告的指标；可检测性和可归因性也会影响审核者能否有选择地检查输出。
Pilot 的验收标准需要升级。 如果试点只展示准确率，可以增加重复运行和引用检查。同一个输入跑三次、核对引用段落是否存在，能提供有关可复现性和可归因性的额外证据；所需成本取决于工作流与文档规模。
审阅比例会影响经济可行性。 当检查输出的成本远低于人工完成原任务（如字段提取），即使需要全面审查，工具也可能节省成本。当检查成本接近独立完成判断的成本时，工具的净收益可能很小，需结合节省的时间计算。这个结论本身不新鲜，但论文从可测量的审阅负担推导出它，而非仅仅断言。
门槛由作者设定，样本和答案键仍有局限
论文对自己的边界保持坦诚：
验收门槛来自从业者预设，而非从监管文本推导，不构成标准。合成语料比生产数据干净，差距可能被低估。三种配置不能穷尽所有部署设计。样本量有限（六种工作流、四种模型、三次重复），配置间比较的统计力不足。
论文在研究过程中发现并修正了两个测量缺陷，均会影响对性能的判断：归因率最初基于转换后的文档而非原始备案文件测量，20% 的引用失败被证明是文档转换造成的误差；审阅负担最初使用事后阈值且在没有置信度时利用了任意排序。两者均由内部检查而非外部审查发现。
还有一个无法消除的风险：答案键错误。在研究过程中，一个监管分类案例被错误标注——所有数值均低于法定阈值却被标注为符合，导致正确回答的模型被扣分，错误回答的模型反而看起来完美。这一问题是通过注意到一个不合理结果被发现的，而非被任何验证层捕捉。论文作者随后对所有可机械推导的答案键进行了独立重新计算。
论文的全部代码、提示词、语料和分析脚本已在 GitHub（dsauce/checking-problem）以 CC BY 4.0 许可公开。
这篇论文本身未经同行评议，来自独立研究者。但它提出的框架——将审阅负担作为 AI 部署的核心度量——为困扰企业的一个具体问题提供了可操作的分析工具。对 AI 工程师和产品负责人而言，最直接的行动项可能是：在下一次 pilot 评估中，让同一个输入跑三次，检查引用是否真实存在，然后计算实际操作条件下的审阅负担。这些检查有助于在上线前估算持续审核所需的人力，并识别一次成功演示没有覆盖的问题。
