GRPO 简化了优势估计，规模化训练仍有难题
2025 年初，DeepSeek-R1 在多项推理评测中取得与 OpenAI o1 相近的成绩，也让其使用的 Group Relative Policy Optimization（GRPO）受到广泛关注。公开资料不足以按同一口径比较两者的完整训练成本。然而，随着社区大规模复现的展开，vanilla GRPO 的诸多缺陷——熵崩溃、奖励噪声、长度偏差——逐渐暴露。2025–2026 年间，DAPO、Dr. GRPO、GRPO++ 等一系列改进方案相继涌现，围绕算法实现、采样和训练稳定性提出改进。与此同时，理论与受控实验也开始讨论 GRPO 的泛化边界：它的收益与基座模型已有的输出分布有关，不能假定增加训练就会改善所有推理任务。
RLHF 使用偏好反馈，RLVR 使用可验证奖励
RLHF（Reinforcement Learning from Human Feedback）是大模型强化学习训练的一条常见路线。RLHF 的核心流程是：收集人类偏好数据 → 训练奖励模型（Reward Model）→ 用 PPO 优化策略。其中，奖励模型需要额外训练和维护；其规模依设计而定，评分也可能偏离真实任务目标。奖励模型与 PPO 用于优势估计的价值网络是不同组件。
RLVR（Reinforcement Learning with Verifiable Rewards）改用可以自动验证的任务奖励。在数学、编程等可验证领域，答案的正确性可以通过规则（字符串匹配、单元测试）直接判定，无需训练奖励模型。DeepSeekMath 是这一路线的重要实践，DeepSeek-R1 随后进一步扩大了它的影响。
Sebastian Raschka 在 2026 年初的 MAD Podcast 中总结道，2025 年 LLM 领域最大的叙事转折就是"从预训练转向后训练，从 RLHF 转向 RLVR"。GRPO 是常用于 RLVR 的优化算法，也可以配合其他奖励来源；算法选择与奖励来源是两个维度。
对同一问题采样多份回答，替代额外的价值网络
GRPO 的核心创新在于抛弃了 PPO 中的价值函数（Critic）。在标准 PPO 中，通常用价值网络辅助估计优势，例如 A(s, a) = Q(s, a) - V(s) 所表达的相对收益。价值网络增加了训练开销，但增幅取决于模型与参数共享方式。GRPO 的做法是：对同一个 prompt 采样多个回答（通常 4–16 个），以组内平均奖励作为基线来计算优势：
A_i = (r_i - mean(r_group)) / (std(r_group) + epsilon)
优势估计的简化带来了三个直接收益：其一，不再需要训练价值网络，内存和计算开销大幅降低；其二，组内相对比较天然具备归一化效果，减少了奖励尺度的敏感性；其三，与可验证奖励结合后，可以省去学习型奖励模型，但仍需要采样、策略更新等训练组件；采用 KL 约束时还可能保留参考策略。
Cameron Wolfe 的 GRPO++ 综述也提醒，简洁的公式并不代表训练实现简单。vanilla GRPO 在规模化训练中暴露出一系列问题。
DAPO 放宽探索、重采样，并修正长回答的训练信号
DeepSeek-R1 的技术报告受到广泛关注，但并未提供完整的训练细节。DAPO 团队在其复现实验中发现，直接用 vanilla GRPO 在 Qwen-2.5-32B 上训练，AIME 2024 得分仅为 30%，远低于 DeepSeek 报告中的 47%。来自字节跳动与清华的 DAPO（Decoupled Clip and Dynamic Sampling Policy Optimization）论文系统性地诊断了四大问题并提出对应修正：
（1）Clip Higher——解耦裁剪阈值。 PPO/GRPO 的重要性比率裁剪范围默认为 [1-ε, 1+ε]（ε=0.2）。DAPO 发现，这个上界对低概率探索 token 极不公平——以概率 0.01 的 token 为例，比率达到 1.2 对应概率 0.012，此后正优势目标被裁剪。这是优化目标的裁剪，并非概率变化的硬上限；同样的相对阈值给低概率 token 的绝对增长空间更小。团队认为，这会限制探索。DAPO 将上界 ε_high 提升至 0.28，保留下界不变，有效防止了熵崩溃。
（2）Dynamic Sampling——过滤零梯度样本。 随着训练推进，越来越多的 prompt 的所有回答都正确（组内奖励全为 1）。这些样本的优势为零，对梯度无贡献，却消耗计算资源并稀释有效梯度的信噪比。DAPO 采用动态过采样策略：每轮采样后过滤掉奖励无差异的组，包括二元奖励下"全对"和"全错"的 prompt，继续采样直到凑满有效 batch。实验表明，这一策略显著提升了样本效率，训练收敛速度大幅加快。
（3）Token-Level Loss——从样本级到 token 级的损失聚合。 原始 GRPO 在样本级别聚合损失（先对每个样本内 token 求平均，再对样本求平均），导致长序列中每个 token 的贡献被稀释。这意味着模型既难以从优质长回答中学习推理模式，也难以有效惩罚长回答中的重复和乱码。DAPO 改为在 token 级别聚合（对所有 token 一视同仁），训练稳定性显著改善。
（4）Overlong Reward Shaping——软性长度惩罚。 传统做法对超出长度上限的样本直接给负奖励。DAPO 提出软惩罚方案：在 [L_max - L_cache, L_max] 区间内线性递增惩罚，超限才给满分惩罚。这避免了将"推理正确但略长"的样本粗暴地标记为负样本。
四项修正叠加后，DAPO 在 AIME 2024 上报告 avg@32 为 50%，对照 DeepSeek-R1-Zero-Qwen-32B 的 47%，训练步数约为后者一半。avg@32 是重复采样后的平均成绩，步数减半也不直接等于总算力或费用减半。
Dr. GRPO 去除长度和组内标准差造成的权重偏差
与 DAPO 几乎同时，另一篇重要论文 Understanding R1-Zero-Like Training: A Critical Perspective（社区称为 Dr. GRPO）从不同角度切入 GRPO 的缺陷。
Dr. GRPO 指出，vanilla GRPO 的损失函数中存在两个系统性偏差：其一，对于正优势样本，短回答因 1/|o| 归一化因子而获得不成比例的奖励提升，导致模型倾向于生成短回答而非充分推理；其二，对于负优势样本，长回答因归一化因子而受到更轻的惩罚，纵容了冗长而错误的输出。这会让输出长度受到归一化方式的影响，而不完全由任务需要决定。
Dr. GRPO 的解决方案是把逐回答的长度分母改为固定常数，避免同样的 token 仅因回答长短而获得不同缩放。同时，它还发现 GRPO 的组内标准差归一化对不同难度的问题不公平——在二元奖励中，太容易或太难的问题都可能出现较小的组内标准差；除以它会放大这类组的相对权重，而非难度越高方差就越大。Dr. GRPO 提议去掉组内标准差归一化，避免这种额外的逐问题缩放。
不过，Nathan Lambert 在 Interconnects 的综述中指出，Dr. GRPO 的消融实验并未展示最终下游性能的显著提升——它改善了训练动态（更短的输出长度、更稳定的奖励曲线），但最终准确率并未超越基线。这一观察说明训练效率和最终准确率应分别衡量；它不足以给数据质量与算法修改的重要性排出普遍顺序。
受控研究发现，泛化收益取决于基座模型的分布
一篇于 2025 年公开、提交 ICLR 2026 评审的论文 Can GRPO Help LLMs Transcend Their Pretraining Origin? 在其理论设定中，将 GRPO 描述为受基座模型分布约束的保守重加权机制。这一结论需要结合论文假设理解，不能直接推广为所有实际训练均无法获得新能力。
研究者通过从头训练 Transformer 的受控实验，在推理深度、输入长度、token 表示和组合泛化四个维度上观察这一限制。OOD（分布外）泛化仅在目标任务与预训练偏好对齐时才会出现，而 ID（分布内）性能增益会随着饱和度上升而递减。
在这些设定中，GRPO 更像是在强化预训练已有的偏好。这提示研究者，增加 RL 训练步数未必能持续提高推理能力；基座模型、训练数据和探索策略仍会约束学习结果。
后续改进还要处理数据、开放任务奖励和探索方式
尽管 GRPO 被广泛采用，但多位研究者提醒：GRPO 并非"特殊的 RL 算法"。Nathan Lambert 指出，GRPO 与 RLOO（REINFORCE Leave One Out）有相近的组内基线思路，但基线计算、标准差归一化和是否使用 PPO 风格裁剪等实现细节仍有差别。Kimi k1.5 团队使用了在线策略镜像下降而非 GRPO，OpenReasonerZero 则回归了 PPO + GAE 的经典组合。
后续研究可以同时考察三个问题：
数据工程：Kimi k1.5 和 OpenReasonerZero 的实验反复证明，训练问题的质量、多样性和难度配置会明显影响结果。以包含约 57K 问题的数据集为例，需要具体检查题型覆盖和验证器质量，不能只比较样本总数。
从数学到开放域：当前 RLVR 的成功主要局限于数学和编程等可验证领域。如何将可验证奖励扩展到开放域推理——如医学诊断、法律分析、科学研究——是下一个关键挑战。DeepSeek 的 Generalist Reward Model 和过程奖励模型（PRM）的探索正在这一方向上前行。
超越预训练分布：Can GRPO Help LLMs Transcend Their Pretraining Origin? 的理论结论暗示，探索策略值得与基座分布一起研究：哪些新解法能被采样发现，又有哪些奖励信号能帮助保留它们。这可能意味着在 RL 训练中引入更结构化的探索策略，或与 search-based 方法（如 MCTS）更深度地结合。
GRPO 用组内回答比较简化了优势估计，后续工作则展示了采样、裁剪和损失聚合对训练的影响。选择实现时，应同时比较最终成绩、输出长度、实际算力开销和跨任务泛化，避免用单一榜单判断算法优劣。
本文基于截至 2026 年 6 月 19 日的公开研究成果撰写。
