2026 年 7 月 6 日，机器学习领域年度盛会 ICML 将在首尔 COEX 会展中心开幕。本届大会有 23,918 篇投稿进入评审，其中 6,352 篇被接收（接受率 26.6%），536 篇获 Spotlight（2.2%），其中 168 篇被选为 Oral 口头报告，约占进入评审稿件的 0.7%。
其中一篇论文提出了一个具体问题：「Do We Need Adam?」（我们真的需要 Adam 吗？）。这篇由伊利诺伊大学厄巴纳-香槟分校的 Sagnik Mukherjee、Lifan Yuan、Dilek Hakkani-Tür、Hao Peng，以及滑铁卢大学的 Pavan Jayasinha 共同完成的论文，于 2 月在 arXiv 发布（arXiv:2602.07729），被 ICML 2026 接收为 Oral，并将于 7 月 7 日上午在主会场上进行口头报告。
研究比较了两种决定模型参数如何更新的算法：经典的随机梯度下降（SGD）和常用的 AdamW。在所测试的大语言模型可验证奖励强化学习（RLVR）任务中，SGD 的整体表现与 AdamW 接近，部分配置更好；训练后的有效参数变化也更稀疏，显存占用更低。
监督学习中常用 AdamW，强化学习是否也需要它
Adam 优化器自 2014 年由 Kingma 和 Ba 提出以来，已广泛用于深度学习训练。其变体 AdamW（Loshchilov & Hutter, 2019）将权重衰减与梯度更新分开处理，也成为大语言模型训练中的常用选择。
这一选择有研究依据。在许多 Transformer 监督学习训练设置中，SGD 的表现低于 Adam。Zhang 等人（2020）将其归因于随机梯度噪声的重尾分布，Pan 和 Li（2023）指向方向锐度（directional sharpness）的优势，Zhang 等人（2024）则从 Hessian 矩阵的块异质性角度给出了解释。这些解释有一个共同点：不同参数的梯度与曲率差异较大，分别调整更新步长往往比使用统一步长更有效。
作者进一步追问：从预训练或监督微调（SFT）得到的优化器经验，能否直接用于强化学习？
数据不断变化、奖励更稀疏，RLVR 与监督微调有何不同
论文的分析从两个关键差异切入。
第一，在线 RL 的训练数据会随模型变化。 模型根据当前策略生成回答，再从奖励中学习。策略更新后，生成数据及优化目标也随之变化；SFT 则通常使用固定的训练数据集。
第二，RLVR 的外部反馈更少。 SFT 对每个 token 提供目标；论文将这类信息量记为 O(#tokens)。RLVR 通常对一整次回答给出是否正确等可验证奖励，每次交互从环境得到的信息量记为 O(1)。
作者据此检验 AdamW 的两个主要组件——动量和自适应学习率——在 RLVR 中是否仍有同样的作用。
RLVR 中各参数的二阶矩分布更集中
AdamW 维护梯度平方的指数移动平均 v，并用其平方根 √v 调整各参数的有效步长。不同参数的 √v 差异越大，这种调整与统一步长的区别就越明显。
作者对比了同一模型训练到第 50 步时，SFT 和 RLVR 的 √v 分布：SFT 阶段 √v 的标准差（σ=5.11×10⁻⁶）是 RLVR 阶段（σ=2.29×10⁻⁷）的约 22 倍。在这组实验中，RLVR 的分布更集中、数值更小，提示逐参数调整步长可能带来的帮助较少。
RLVR 的当前梯度与累积动量方向不再接近
动量本质上是对历史梯度方向的记忆。但在策略快速更新的 RL 中，上一步的梯度方向可能与当前方向已经大相径庭。论文作者计算了 AdamW 中累积动量 m_{t-1} 与当前梯度 g_t 之间的余弦相似度：SFT 中高达 0.997，RL 中骤降至 −0.007——几乎正交，甚至略微负相关。
这组结果说明，RLVR 中过去累积的方向未必适合当前更新，动量的作用需要结合训练过程重新检验。
SGD 在数学、代码和延长训练测试中接近 AdamW
基于上述分析，作者提出假设：动量和自适应学习率在 RLVR 中远不如在 SFT 中重要。 如果假设成立，那么最简单的 SGD（既不用动量也不用自适应学习率）应该能与 AdamW 匹敌。
实验覆盖数学推理、代码生成，以及能自动调整任务难度的 RLVE 环境；使用 Qwen3-1.7B/8B 和 Llama-3.1-8B-Instruct 两个模型家族，并比较 GRPO 和 PPO 两种强化学习算法：
数学训练后的评测包含 MATH-500、AMC、AIME、OlympiadBench 和 GPQA Diamond。在最大生成长度为 3K token 的设置下，SGD 在三个模型上的平均分均略高于 AdamW，但并非每个基准都更好。更长生成长度下，结果也随模型而变化。
代码生成测试使用 Qwen3-1.7B。在 4K 最大生成长度下，SGD 在 HumanEval、HumanEval+、MBPP、MBPP+ 四个基准上的单次成功率（pass@1）平均比 AdamW 高 8.7 个百分点。
作者还用 RMSProp、带动量的 SGD 和纯 SGD 做比较，分别考察自适应学习率、动量及去掉两者后的表现。忽略偏差校正和权重衰减等细节时，可以这样理解它们与 AdamW 的关系。结果是，两个组件都没有在所有设置中稳定提高性能；带动量的 SGD 在大多数配置中低于纯 SGD。
PPO 对照实验也得到接近的总体表现。在 RLVE 中将训练延长至 500 步后，SGD 的平均分略低于 AdamW，作者认为两者仍相当。
部分实验中仅少量参数明显变化，SGD 也减少了显存占用
作者还比较了训练前后有多少参数发生了可测量的变化。
论文在 bfloat16 训练设置下，以 10⁻⁵ 为阈值判断参数是否发生变化；低于阈值的部分计入「更新稀疏度」。以 Qwen3-8B 的数学实验为例，AdamW 约有 10% 的参数发生有效变化（约 90% 稀疏度），SGD 约为 0.01%（99.99% 稀疏度），按这一近似值相差近 1000 倍。论文引言另概括了 0.02%–0.46% 的更新比例范围，具体数值随实验而变，不能把所有设置都概括为低于 0.02%。
这些实验没有使用稀疏性正则化。作者认为，观察到的稀疏变化与优化器及有限数值精度共同有关：AdamW 和 RMSProp 可能放大很小的更新，使其越过浮点舍入阈值；SGD 的部分微小更新则会被舍入抹去。
显存节省还有一个直接来源：SGD 无须保存 AdamW 的一阶矩和二阶矩状态。按论文包含 FP32 主权重的统计口径，AdamW 每个参数需要 12 字节，SGD 需要 4 字节。Qwen3-1.7B 的理论状态开销因此减少约 13.6 GB；加上分布式训练通信缓冲区的差异，实测峰值 GPU 内存减少约 15.7 GB，可为更大模型或批次留出空间。
稀疏更新提示 RLVR 可能只需调整部分参数方向
作者尝试从 RLVR 的参数变化方式解释这些结果。此前已有研究表明，RL 微调仅更新模型中约 20% 的参数（Mukherjee et al., 2025），远少于 SFT；且 RL 的更新集中在参数空间的非主成分方向上，引发的谱漂移极小（Zhu et al., 2025）。这两项发现暗示：RLVR 中的有效优化问题是低维且几何受限的，学习被限制在参数空间的一个子空间内。
如果有效更新主要发生在少量参数方向上，逐参数自适应机制可能不像监督训练中那么重要。这为实验结果提供了一种解释，仍需在更多模型与训练设置中验证。
优化器需要按训练任务选择，更多设置仍待复现
这项工作的实际建议是：进入强化学习阶段后，可以重新比较优化器及其配置，而不必直接沿用监督微调的选择。
正如论文引言所引用的爱因斯坦名言：「重要的是永不停止提问。」这篇论文把提问落实为实验：在这些 RLVR 任务中，AdamW 的额外状态和逐参数步长，是否带来了相应收益？
在作者测试的部分场景中，更简单的 SGD 已能取得相当结果。但换用 SGD 也需要重新选择学习率，论文指出其合适步长明显大于 AdamW，不能仅替换优化器名称而保留全部配置。
论文作者也已将完整代码开源至 GitHub（github.com/SagnikMukherjee/sgd_adam_rlvr），供社区复现和进一步探索。
随着论文在 ICML 展示，后续复现可以进一步检验：这些结果是否适用于更大模型、更长训练，以及论文尚未覆盖的奖励形式。
