让模型对同一道题多生成几个答案，再用投票或奖励模型挑选，是增加推理计算量的一种常见办法。前者常称为自一致性（self-consistency），后者包括 Best-of-N。但多生成一些答案，是否一定能让最终结果更准确？
拥有 UIUC 博士背景的 Yong Yi Bay 与 Kathleen A. Yearick，在 6 月的论文中讨论了两种限制：投票最终会偏向最常见的答案；反复抽取同一批题，也难以替代增加新题。 论文把它们称为“模态上限”和“相关性上限”。在一组 MATH-500 日志中，每题生成 256 次后，88% 的题至少出现过一个正确答案，投票选出的答案却仅约 45% 正确。
重复回答同一道题，与多测几道题有何不同？
论文借用了统计学中的集群抽样：把一道题及其重复回答看作一个集群。这里要区分两种来源。同一道固定题目的多次生成可以彼此独立，但把不同难度的题汇总起来时，同题回答仍共享“这道题容易还是困难”的因素。评估整个基准的均值时，不能把它们都当成独立抽到的新题。
在论文假设下，设成功率为 s、同一集群内正确性的相关系数为 ρ，设计效应（design effect）给出如下有效样本数。它衡量的是估计均值的精度：
n_eff = n / (1 + (n-1)·ρ)
当 ρ 为正且不随采样次数趋于零时，n → ∞，n_eff → 1/ρ。这是作者所说的相关性上限：继续重复采样，对相应均值估计增加的信息越来越少。若固定一道题后各次生成独立，ρ=0，则这个公式给出 n_eff=n，并没有有限的相关性上限。
生成过正确答案、选对答案、估准成绩，是三件事
同一笔采样预算可以服务三个目标，它们的收益并不相同。
**覆盖率（coverage）**问的是：“n 次采样里至少有一次正确吗？”它只关心正确答案是否出现在候选池。在固定题目、独立生成且单次成功率大于零等条件下，这个概率会随 n 增大趋向 100%。若模型始终无法答对某些题，整个题集的覆盖率仍有能力上限。要把覆盖率变成最终正确率，还需要识别正确答案的办法。
**答案选择（selection）**问的是：“能从候选池中挑出正确的那个吗？”自一致性投票选择出现次数最多的答案。在答案分布固定、最常见答案唯一等条件下，随着 n → ∞，投票结果趋向该答案，也就是分布的众数。对整个题集而言，极限准确率就是“最常见答案恰好正确”的题目占比，记为 π_mode。奖励模型打分和加权投票的结果，还取决于各自的评分规则。
这就是文中所说的“模态上限”，即投票的长期极限。采样多到足以稳定辨认众数后，继续生成通常很难改变结果；如果最常见答案本来就是错的，投票会越来越稳定地选错。需要多少次才能接近这个状态，取决于答案分布。
**基准均值估计（benchmark estimation）**问的是：“怎样更准确地估计模型在题目总体上的表现？”在题目难度差异较大的情况下，把预算用于新增题目，可能比在少数题上反复生成更有效。相关性上限针对的是这个估计问题，不能直接用来判断单道题还值不值得重试。
一组数学题生成 256 次：覆盖率 88%，投票准确率约 45%
论文在两个公开采样日志上测量了这些效应。
在 Brown 等人 2024 年发布的 GSM8K 和 MATH 日志中，各次生成按设计独立。作者估计题目难度差异对应的 ρ_b 约为 0.4–0.6。换算到基准均值估计，每题 10^4 次生成的信息量约相当于两个独立样本，各配置均不到三个。这个比较说明增加题目覆盖面的价值，不表示同一道题生成一万次与两次的解题机会相同。
另一组是 Beeching 等人发布的 MATH-500 日志：Llama-3.2-1B-Instruct 每题生成 256 次，温度 0.8。按答案频率集中度计算，每题“有效答案种类数”的中位数约为 13，并非实际只出现 13 个不同答案。覆盖率升至 0.88，但自一致性准确率在约 64 次后接近 0.45，之后变化很小。模型经常能生成正确答案，投票却未必选得出来。
最常见答案若是错的，增加采样会让投票更稳定地选错
对于最常见答案错误、但正确答案仍有机会出现的题目，论文讨论了一个反直觉结果：随着采样数增加，投票正确率趋向零，覆盖率则趋向 1。同一道题中，“生成过正确答案”和“最后选对答案”可以走向相反方向。
这为自一致性成绩有时随采样数先升后降提供了一种解释。一个题集同时包含众数正确和众数错误的题目，汇总曲线就可能并不单调；具体曲线还会受到有限采样波动的影响。
采样预算怎么花，先看目标是评测还是实际作答
由此，作者给出三类建议：
评估模型时，同时报告名义采样数 n 和用于总体均值估计的有效样本数 n_eff，并按题目聚类计算不确定性。例如 n=256、ρ_b 约为 0.5 时，忽略聚类会把标准误及相应区间宽度低估约 11 倍。在论文日志中，ρ_b 约为 0.4–0.6；这一范围需要在其他题集上重新估计。
没有可靠验证器时，先测投票正确率是否已经趋稳。提高温度、调整 nucleus 采样、改提示或混合模型，都可以作为改变答案分布的实验方向。但答案更多样，不一定意味着正确答案会成为众数，需要验证最终正确率。
有验证器时，更多采样仍可能提高至少出现一次正确答案的概率。能够可靠识别正确结果，才有机会把这部分覆盖率收益转为实际收益；模型能力和验证器准确性共同决定效果。
论文建议在方法部分同时列出名义采样数和有效样本数，让读者了解重复采样为总体成绩估计增加了多少信息。
改变采样方式能否提高准确率，还缺对照实验
作者留下了一个待验证的问题：通过温度、采样策略等改变答案分布，能否提高最常见答案的正确率？论文提出了预注册实验方案，但尚未用对照实验证实这一干预效果。
验证器也是边界条件。它可能把错误答案判对，或漏掉正确答案，因此会限制最终可用的准确率。在代码任务中，测试套件可以帮助兑现部分覆盖率收益；在开放问答中，奖励模型评分与实际正确性之间的差距，也会影响选答案的效果。
这篇论文对实际系统的启发，是把“多生成几次”和“最终多答对多少”分别测量。Best-of-32、Best-of-64 的预算是否值得，要看任务、答案分布和选择器；评估模型总体能力时，还应比较增加新题与重复旧题的收益。它没有证明所有较大采样预算都在浪费算力。
