训练大语言模型时，限制它偏离参考模型，是控制行为变化的一种办法。但先用偏好数据训练，再让模型根据奖励评分继续学习时，这种约束是否越强越好？
一篇被 ICML 2026 workshop 接收的论文，在三组实验中观察到了相反趋势。不过，论文的指标解释和机制推导也存在矛盾，需要与报告的数据分开看。
Subramanyam Sahoo 等研究者对 Qwen3-14B 进行了三组不同 β 参数的直接偏好优化（DPO）训练，再用 3 个 Qwen3-1.7B 组成的奖励模型集成开展在线适配，并以 GSM8K 数学题准确率检查实际解题表现。论文报告，β 越高，累计奖励偏差指标越大；在这三个条件间，Spearman 秩相关系数 ρ=1.0。这里的“在线”是继续训练的实验阶段，尚不是产品部署结果。
三组 β 参数下，作者报告的累计奖励偏差依次增大
研究者根据参考模型在偏好数据上的绝对对数概率差，取第 20、50、80 百分位，再用中位数归一化，得到三组 β 值。这样选择的参数与这批偏好数据有关。
作者用 AUGC 衡量累计奖励偏差：先计算归一化代理奖励与真实奖励之差，再对差值的正部随时间积分。论文报告的结果如下：
| β 水平 | β 值 | AUGC | 平均不确定度 | 奖励投机起始 |
|---|---|---|---|---|
| 低 | 0.310 | 31.1 | 1.80 | 最晚 |
| 中 | 1.000 | 43.0 | 2.03 | 中间 |
| 高 | 2.379 | 145.8 | 2.09 | 最早 |
表中高 β 条件的 AUGC 接近低 β 条件的 5 倍，作者标记的奖励投机起始时间也更早。奖励投机指模型提高了代理评分，却未相应改善实际任务表现。
这组结果有一个需要澄清的指标问题：论文把 Goodhart 差距定义为“归一化代理奖励减去真实奖励”，却把大部分时间为负的曲线解释为“代理奖励高估真实表现”，两者的方向相反。低 β 曲线波动较大、高 β 曲线接近零，是论文报告的现象；负值本身不能按该定义证明模型在骗取高分。
回复多样性、分布距离与评分分歧，哪些解释有数据支持？
作者提出了三部分机制解释，但其中一些说法与论文自己的结果图不一致。
回复多样性。 作者试图用熵压缩解释高 β 的影响。三个 DPO 训练后模型的 token 级熵其实很接近，约为 0.81–0.82。按结果图 4 的定义，在线适配后，低 β 条件的熵略降，高 β 条件的熵略升，方向与“高 β 在线后进一步丧失多样性”的概括相反。论文命题称熵随 β 不增，附录却推导出非负导数，也尚未形成一致证明。
与奖励模型训练数据的距离。 作者讨论了参考模型分布与奖励模型训练分布不一致的可能性，并用隐藏状态的余弦距离衡量生成回复到训练数据中心的距离。不过，结果图 6 报告的是距离随 β 减小，而非增大。该图支持的是：回复在这一距离指标上更靠近训练数据，也仍可能出现较大的评分分歧。
奖励模型之间的分歧。 表中三个奖励模型的平均不确定度随 β 上升。作者认为，在线优化可能找到部分奖励模型给高分、但实际表现不好的回复。论文还比较了不确定度与 Goodhart 差距的 Pearson 相关性，将高 β 条件标为关联最强；这是这一实验内的观察。
这些测量提示，仅仅靠近参考模型，未必能确保后续奖励评分可靠。但从目前结果推出一条确定的“熵下降—分布远离—奖励投机”因果链，证据还不一致。
用三组结果寻找 β 阈值，距离通用调参规则还有多远？
作者进一步用幂律曲线拟合 (β, AUGC) 数据，并据此讨论：在其拟合形式和参数成立时，继续增大 β，累计奖励偏差可能加速上升。
作者把 AUGC 首次超过最小值 1.5 倍时的 β 作为一个实用阈值 β*，希望据此权衡偏好对齐效果与奖励投机风险。这提供了一种调参思路，但阈值来自这组三点拟合，还需要更多参数实验检验。
只测了一个模型家族，还需要澄清指标和扩大复现
论文也承认实验范围有限：只测试了三组 β、Qwen3 模型家族和单张 H100 80GB。三参数幂律对三个数据点得到 R²=1.0，说明它可以插值这些点，不足以验证函数形式。作者建议增加模型家族、下游任务，以及至少 5–8 个、覆盖两个数量级的 β 值。
这项观察能否扩展到 ORPO、SimPO、KTO 等其他对齐方法，也尚不清楚。作者猜测，保守离线目标与在线代理奖励的失配可能普遍存在，但仍需实验检验。
这篇论文提出了值得继续测试的问题：离线偏好训练与在线奖励优化使用不同的质量信号，约束参数的变化会怎样影响二者？对实践团队而言，可以把离线模型和后续适配放在同一套真实任务上评估，同时观察奖励评分。论文报告的三组结果提供了线索；其中的符号、熵变化与分布距离矛盾，应先澄清，再据此推导安全结论。
