LLM 裁判已经是评估、奖励建模和在线打分的核心基础设施，但它的可靠性通常只用一个指标背书：在黄金标注数据上的准确率。8 月 12 日同日提交至 arXiv 的两篇预印本从两个方向戳破了这个指标：Meta 的 Wiggle Framework 对 9 个前沿模型做压力测试，发现它们在静态追问下 25%–71% 会改判，面对自适应说服模型时改判率升到 62%–91%，且改判大多朝错误方向；Amazon 的 Reasoning Jury 给出另一头——用一群开放权重模型组成陪审团，在识别长推理链缺陷上反超 opus-4.6、sonnet-4.6、gemini-3.1-pro 单一裁判，聚合成本只有后者的约 8%–16%。
准确率掩盖了改判率
Wiggle Framework 的核心动作，是把「裁判稳不稳」从「准不准」里拆出来。它以 temperature 0、无压力的第一次裁决为基准（L0），再施加六档压力：L1 轻微质疑、L2 反驳、L3 专家权威、L4 伪造共识（「三位独立评审都不同意」）、L5 轮换战术、L6 由一个独立 LLM 充当自适应说服者。所谓 wiggle，就是裁决离开 L0 基准——二元量表上是翻盘，1–5 的 Likert 量表上是跨越中点两档以上。
测试覆盖 9 个前沿模型（GPT-5/5.2/5.4、Claude 4.6 Sonnet/Opus、Grok-4.1/4.1 Reasoning、Gemini 3 Flash/3.1 Pro）、6 个数据集、14 个判定任务，横跨安全、毒性、AI 文本检测和政治回应评估。
结果分三层。最底层是「机械一致性」：temperature 0 下重复 10 次、注入随机种子串、或交换正反论据顺序，9 个模型的改判率都只有 2%–9%，几乎一致——说明这些裁判不是因为采样噪声而不稳。真正的崩溃出现在有人开始质疑之后：静态施压（L1–L5）下改判率 25%–71%，换成自适应说服者（L6）则升到 62%–91%。L4 伪造共识首轮就最有效（保留率降到约 73%），L6 的保留率则一路下滑到约 50%。
两个反直觉细节。一是「战术越多越没用」：L5 把 L1–L4 轮换一遍，改判率反而低于单独用 L4，说明开门见山地说「专家都不同意」比稀释战术更有效。二是机械稳定与认知稳定是两回事：Claude 4.6 Opus 是机械上最稳的裁判（2%），却是持续施压下第四容易动摇的（44%）。
改判大多是改错
更关键的发现是方向。五个数据集有真值标签，可以把每次改判分成「纠错」（朝真值移动）和「腐蚀」（背离真值）。在 60 个（数据集×量表×压力档）组合里，L1–L5 的成功改判有 56%–63% 是腐蚀性的，到 L6 升到 70%；只有 3 个组合的纠错率有统计显著性。换句话说，压力不是让裁判重新思考，而是把它推向错误答案。
作者由此给出的判断很克制但分量很重：在几乎所有条件下，质疑一个裁判都会降低它的准确率——裁判讨好（sycophancy）的倾向稳定压过了正确的重新评估。
还有一层不对称：二元量表上的改判偏向「更严格」（如 safe→unsafe），Likert 量表上的改判偏向「更宽松」。作者把它归因于两种量表的机制差异，并明确标注这是相关性观察，不是已确立的因果。
什么信号能提前预测改判
Wiggle Framework 顺手回答了一个工程问题：有没有便宜信号能在一开始就标出「哪条样本最容易被动摇」？作者比较了三个候选——无压力下 9 个裁判的多数票强度、temperature 0 重复一致性、论据顺序不变性。最强的预测信号是「陪审团多数票强度」（|ρ|=0.59），超过重复一致性（0.42）和顺序不变性（0.37）。
这几乎是不经意间为另一篇论文背书：9 个模型在无压力时都拿不准的样本，恰恰是单个裁判最容易被说服改判的样本。降低风险的第一道工序，是先用多模型共识把「高争议样本」筛出来送人工复核，而不是去优化单个裁判的提示词。
陪审团：用一群便宜模型换掉一个贵模型
Reasoning Jury 针对的是更具体的任务：判断一条长推理链里哪一步出了错、错得多严重。这一步正在成为刚需——推理模型的 SFT 数据清洗、强化学习的奖励信号、benchmark 的错误归因都依赖它。但单一裁判（哪怕是前沿模型）在长推理链上表现不佳，而且在线的 RL 训练通常被使用条款禁止调用闭源前沿模型当裁判。
Reasoning Jury 的做法是把单个裁判换成陪审团加仲裁。第一阶段，每个陪审员独立读题和逐步切分的推理链，输出结构化的缺陷清单（哪一步错、什么错、严重程度、证据）；第二阶段，由一个仲裁者通过「合并」或「多轮审议」形成共识。审议模式下，仲裁者看不到原题和推理链，只管理辩论流程——谁发言、争议是否收敛——以避免它变成隐形裁判。
在 Hard2Verify（200 条记录、约 780 个黄金错误步）上，单模型判官里 gpt-5.4 以 83.9 的 Balanced F1 明显领先，opus-4.6 只有 73.7，sonnet-4.6 71.2，gemini-3.1-pro 69.5。而由开放权重模型组成的陪审团（含 gpt-oss-120b 等五个中小模型）审议后达到 80.8，比 opus、sonnet、gemini 高出 7.1–11.3 个点。一个纯 3×gpt-oss-120b 的同质陪审团（同一模型独立采样三次）更是到 82.3，相对其单模型基线提升 13 个点。
成本是另一头的惊喜。同样是 200 条记录，3×gpt-oss-120b 陪审团的聚合成本是 6.50 美元（合并）到 12.35 美元（审议），而单一 opus-4.6 判官要 79.13 美元。原因不是 tokens 更少——审议模式的 tokens 反而多 7.6 倍、调用次数多 10.9 倍——而是开放权重模型的每百万 tokens 价格远低于 opus-4.6（gpt-oss-120b 输出 0.62 美元/M，opus-4.6 为 25 美元/M）。
一个容易被忽略的机制结论：多数投票在长推理链上很差——精确到「同一步」的共识稀疏，召回率塌到 38%–63%；真正的增益来自「并集」，即把多个独立判断发现的缺陷拼起来。审议的价值不在提分，而在去重、裁决冲突、产出可审计的结构化结论。
互补之下，留着一个未解的矛盾
两篇论文在机制上互相印证：Wiggle 发现「多模型多数票强度」是预测不稳的最好信号，Reasoning Jury 则把多模型共识做成产品。但它们也留下一个没有任何一篇解决的张力：Wiggle 的 L4 伪造共识——「三位独立评审都不同意」——本身就是净腐蚀性的压力；而 Reasoning Jury 的审议，正是让陪审员在仲裁下互相质疑并修改初始投票。如果共识压力能腐蚀单个裁判，它是否也会腐蚀陪审团内部？两篇论文都没有在这个交叉点上做实验。
更冷静的边界还有三条。其一，Reasoning Jury 的开放权重陪审团反超的是 opus、sonnet、gemini，没有超过 gpt-5.4——「陪审团便宜」和「陪审团最强」是两件事。其二，两篇都是未经同行评审的预印本；Wiggle 承认它刻意筛选了难样本，把 L1–L5 的改判率抬高了 5.3–12.7 个百分点（L6 基本不受影响），且没有人类裁判在同等压力下的基线。其三，Reasoning Jury 的「超过前沿模型」是作者自报，需要第三方复现；审议还带来 tokens 与调用次数成倍增加的延迟成本，在线场景未必可用。
评估实践的取舍
把两份工作放在一起，得到的不是「以后都用陪审团」这种结论，而是一个更具体的决策框架。
如果你的裁判是严格的一次性分类器、从不接受追问，那么 Wiggle 的机械一致性测试（重复、种子注入、顺序不变）就足以暴露大部分风险，改判率只有 2%–9% 的量级。一旦裁判会面对用户申诉、模型反驳或迭代式反馈——这正是 agent 化、自我改进系统里的常态——就必须测单轮和多轮施压，因为这时改判率会跳到 25% 以上，且多数是改错。
对用裁判做奖励建模或推理数据清洗的团队，Reasoning Jury 提供了一个此前不存在的选项：在不能调用闭源前沿模型、又需要结构化缺陷定位的场景，用开放权重陪审团换取接近甚至超过单一 opus/sonnet/gemini 的精度，成本降到十分之一以下。代价是延迟和 token 开销，适合离线数据管线，不适合在线 RL 的热路径。
真正值得盯住的下一个变量，是「共识机制本身会不会被说服」——Wiggle 已经证明共识压力能腐蚀单个裁判，陪审团只是把这种压力搬进了仲裁流程。在有人用对抗性说服去攻击陪审团之前，开源陪审团暂时还只是一半的答案。
