用大语言模型给其他模型打分，已广泛用于评估、奖励建模和在线评分。仅看它与标准标注的一致率，还不足以判断其可靠性。8 月 12 日提交至 arXiv 的两篇预印本，分别考察了裁判受质疑后是否改判，以及多个模型合议能否改善推理评测：Meta 的 Wiggle Framework 对 9 个前沿模型做压力测试，发现它们在静态追问下 25%–71% 会改判，面对自适应说服模型时改判率升到 62%–91%，且改判大多朝错误方向；Amazon 的 Reasoning Jury 则采用另一种评测方式——用一群开放权重模型组成陪审团，在识别长推理链缺陷上反超 opus-4.6、sonnet-4.6、gemini-3.1-pro 单一裁判，聚合成本约为单一 opus-4.6 裁判的 8%–16%。
无人质疑时较稳定，受到施压后频繁改判
Wiggle Framework 除了衡量裁判是否答对，还衡量它能否保持判断。它以 temperature 0、无压力的第一次裁决为基准（L0），再施加六档压力：L1 轻微质疑、L2 反驳、L3 专家权威、L4 伪造共识（「三位独立评审都不同意」）、L5 轮换战术、L6 由一个独立 LLM 充当自适应说服者。所谓 wiggle，就是裁决离开 L0 基准——二元量表上是翻盘，1–5 的 Likert 量表上是跨越中点两档以上。
测试覆盖 9 个前沿模型（GPT-5/5.2/5.4、Claude 4.6 Sonnet/Opus、Grok-4.1/4.1 Reasoning、Gemini 3 Flash/3.1 Pro）、6 个数据集、14 个判定任务，横跨安全、毒性、AI 文本检测和政治回应评估。
结果分三层。最底层是「机械一致性」：temperature 0 下重复 10 次、注入随机种子串、或交换正反论据顺序，9 个模型的改判率都只有 2%–9%，几乎一致——说明这些裁判不是因为采样噪声而不稳。受到质疑后，结果明显不同：静态施压（L1–L5）下改判率 25%–71%，换成自适应说服者（L6）则升到 62%–91%。L4 伪造共识首轮就最有效（保留率降到约 73%），L6 的保留率则一路下滑到约 50%。
两个反直觉细节。一是「战术越多越没用」：L5 把 L1–L4 轮换一遍，改判率反而低于单独用 L4，说明开门见山地说「专家都不同意」比稀释战术更有效。二是机械稳定与认知稳定是两回事：Claude 4.6 Opus 是机械上最稳的裁判（2%），却是持续施压下第四容易动摇的（44%）。
有标准答案的测试中，多数改判偏离正确结果
作者进一步区分了改判方向。五个数据集有真值标签，可以把每次改判分成「纠错」（朝真值移动）和「腐蚀」（背离真值）。在 60 个（数据集×量表×压力档）组合里，L1–L5 的成功改判有 56%–63% 是腐蚀性的，到 L6 升到 70%；只有 3 个组合的纠错率有统计显著性。在这些设定下，施压导致的改判更多偏离标准答案。
作者据此认为，在几乎所有条件下，质疑一个裁判都会降低它的准确率——裁判讨好（sycophancy）的倾向稳定压过了正确的重新评估。
还有一层不对称：二元量表上的改判偏向「更严格」（如 safe→unsafe），Likert 量表上的改判偏向「更宽松」。作者把它归因于两种量表的机制差异，并明确标注这是相关性观察，不是已确立的因果。
多个模型原本分歧越大，单个裁判越容易动摇
Wiggle Framework 还测试了能否用低成本信号，提前识别容易被说服改判的样本。作者比较了三个候选——无压力下 9 个裁判的多数票强度、temperature 0 重复一致性、论据顺序不变性。最强的预测信号是「陪审团多数票强度」（|ρ|=0.59），超过重复一致性（0.42）和顺序不变性（0.37）。
这意味着，9 个模型在无压力时意见分歧较大的样本，往往也更容易让单个裁判被说服改判。一种可考虑的做法，是先用多模型共识筛出高争议样本，再送人工复核。
多个开放权重模型先独立找错，再由仲裁者汇总
Reasoning Jury 针对的是更具体的任务：判断一条长推理链里哪一步出了错、错得多严重。这类评测有多个用途——推理模型的 SFT 数据清洗、强化学习的奖励信号、benchmark 的错误归因都依赖它。但单一裁判（哪怕是前沿模型）在长推理链上表现不佳。论文还讨论了闭源服务的使用条款对模型训练用途的限制。
Reasoning Jury 的做法是把单个裁判换成陪审团加仲裁。第一阶段，每个陪审员独立读题和逐步切分的推理链，输出结构化的缺陷清单（哪一步错、什么错、严重程度、证据）；第二阶段，由一个仲裁者通过「合并」或「多轮审议」形成共识。审议模式下，仲裁者看不到原题和推理链，只管理辩论流程——谁发言、争议是否收敛——以避免它变成隐形裁判。
在 Hard2Verify（200 条记录、约 780 个黄金错误步）上，单模型判官里 gpt-5.4 以 83.9 的 Balanced F1 明显领先，opus-4.6 只有 73.7，sonnet-4.6 71.2，gemini-3.1-pro 69.5。而由开放权重模型组成的陪审团（含 gpt-oss-120b 等五个中小模型）审议后达到 80.8，比 opus、sonnet、gemini 高出 7.1–11.3 个点。一个纯 3×gpt-oss-120b 的同质陪审团（同一模型独立采样三次）更是到 82.3，相对其单模型基线提升 13 个点。
多模型方案的调用成本也更低。同样是 200 条记录，3×gpt-oss-120b 陪审团的聚合成本是 6.50 美元（合并）到 12.35 美元（审议），而单一 opus-4.6 判官要 79.13 美元。原因不是 tokens 更少——审议模式的 token 总量达到单一裁判的 7.6 倍，调用次数达到 10.9 倍——而是开放权重模型的每百万 tokens 价格远低于 opus-4.6（gpt-oss-120b 输出 0.62 美元/M，opus-4.6 为 25 美元/M）。
实验还发现，直接用多数票处理长推理链的效果较差：多个裁判很少同时标记同一个错误步骤，召回率降到 38%–63%。更有效的是取「并集」，汇总各个独立判断发现的缺陷。审议的价值不在提分，而在去重、裁决冲突、产出可审计的结构化结论。
合议是否也会受到错误说服，尚无交叉实验
两篇论文分别展示了多模型判断的用途：Wiggle 用多数票强度预测单个裁判是否稳定，Reasoning Jury 则通过合议汇总推理缺陷。不过，两项结果之间还有一个未经检验的问题：Wiggle 的 L4 伪造共识——「三位独立评审都不同意」——本身就是净腐蚀性的压力；而 Reasoning Jury 的审议，正是让陪审员在仲裁下互相质疑并修改初始投票。如果共识压力能腐蚀单个裁判，它是否也会腐蚀陪审团内部？两篇论文都没有在这个交叉点上做实验。
另外还有三项限制。其一，Reasoning Jury 的开放权重陪审团反超的是 opus、sonnet、gemini，没有超过 gpt-5.4——「陪审团便宜」和「陪审团最强」是两件事。其二，两篇都是未经同行评审的预印本；Wiggle 承认它刻意筛选了难样本，把 L1–L5 的改判率抬高了 5.3–12.7 个百分点（L6 基本不受影响），且没有人类裁判在同等压力下的基线。其三，Reasoning Jury 的「超过前沿模型」是作者自报，需要第三方复现；审议还带来 tokens 与调用次数成倍增加的延迟成本，在线场景未必可用。
离线评测可考虑合议，交互式裁判还要测抗压能力
选择评测方式时，需要区分裁判是否接受追问，以及能否承受多模型合议的延迟。
如果你的裁判是严格的一次性分类器、从不接受追问，那么 Wiggle 的机械一致性测试（重复、种子注入、顺序不变）可以揭示这几类扰动下的稳定性，在该研究中改判率为 2%–9%。一旦裁判会面对用户申诉、模型反驳或迭代式反馈——这正是 agent 化、自我改进系统里的常态——就必须测单轮和多轮施压，因为这时改判率会跳到 25% 以上，且多数是改错。
对用裁判做奖励建模或推理数据清洗的团队，Reasoning Jury 提供了一种可测试的方案：在不能调用闭源前沿模型、又需要结构化缺陷定位的场景，用开放权重陪审团换取接近甚至超过单一 opus/sonnet/gemini 的精度，本文列举的聚合成本约为单一 Opus 裁判的 8%–16%。代价是延迟和 token 开销，因此更适合先在离线数据处理中验证；用于在线 RL 时，还需评估关键步骤能否承受这些额外开销。
下一步需要直接检验合议过程能否抵抗错误说服。Wiggle 显示，伪造共识会使单个裁判更容易改错；这种压力进入多模型仲裁流程后是否仍然有效，需要专门的对抗实验。
