较长的推理过程能帮助 AI 解难题，却未必适合简单问题。OpenAI o1、DeepSeek-R1 等大推理模型（Large Reasoning Models, LRMs）通过链式思维（Chain-of-Thought, CoT）提升了数学和编程表现，但研究者也观察到‘过度思考’：模型在容易的问题上生成不必要的中间步骤，增加 token 消耗，有时还会降低准确率。
产品也在提供更多推理控制。OpenAI 的 GPT-5 系列允许开发者通过 reasoning_effort 选择推理强度，具体档位因模型而异。Anthropic 则在 Claude Sonnet 5 中移除了手动推理 token 预算，采用默认开启的自适应思考（Adaptive Thinking），并提供 effort 调节。这些接口都在处理同一个实际问题：一项任务应该花多少计算量。
复旦大学、华东师范大学和蚂蚁集团的研究者从训练机制入手，提出了 ADaPT（Adaptive Dual-Process Thinking），论文被 ACL 2026 Findings 收录。它将‘选择快答还是长推理’与‘生成正确答案’的奖励分开处理，尝试减少压缩输出对解题能力的影响。训练完成后，同一个模型还能调节快慢模式的使用比例，选择不同的长度与准确率组合。
奖励短回答，可能连必要的推理步骤一起压缩
现有提升推理效率的方法大致分为两条路线：长度压缩——通过惩罚长输出来迫使模型简洁；混合推理——让模型在快慢模式间切换。作者指出，一些这类方法把效率和正确性合成整段回答的奖励，容易让两个目标发生冲突。
在论文采用的双模式强化学习设定中，第一个动作负责选择快模式或慢模式，后续 token 负责生成内容。如果模式奖励作用于整段输出，后续 token 也会承受效率惩罚，尽管它们已经无法改变开头的模式选择。这里的效率信号针对模式选择，并不意味着实际生成成本只由第一个 token 决定。当多条回答都能答对时，较短的答案同时获得正确性奖励和效率奖励，而较长但同样正确的推理只获得正确性奖励，从而在训练梯度中处于劣势。 这种训练可能让模型过于偏向短推理，压缩某些问题所需的中间步骤。
论文用这一分析解释 TLMRE、ARM、R-4B 等方法在实验中的性能损失。直接压缩长度可能删掉必要步骤；混合推理如果只奖励正确性，又可能过度偏向慢模式。加入效率奖励有助于改变选择，但整段施加奖励也可能让模式选择不稳定。
先选快慢模式，再让内容生成专注于答对
ADaPT 将模式选择单独作为优化对象。它引入了一个专门的模式选择 token——在推理开始时由模型生成的第一个 token，决定接下来走"慢思考"（<think> 模式，完整 CoT 推理）还是"快回答"（<answer> 模式，简短说明或直接输出答案）。效率相关的模式奖励仅在开头的 <think> token 上施加，正确性奖励则通过各位置的回报用于训练整段输出。
这样，一旦模式选定，后续内容 token 的回报就只取决于答案正确性。即使推理链较长，也不会仅因长度而在这些位置受到惩罚。作者希望以此保留慢模式解难题的能力，同时让模型学会在合适时选择快答。
训练分两阶段进行。第一阶段是监督微调（ADaPT-SFT）：用带标注的 <think> 和 <answer> 格式数据让模型学会两种推理行为模式。第二阶段是强化学习（ADaPT-GRPO）：基于 GRPO（Group Relative Policy Optimization）框架，引入 Token 级别的模式奖励。模式奖励的设计由两项组成：一是绝对质量阈值——只有当快回答模式的准确率超过阈值 γ 时才鼓励使用快模式，否则鼓励触发慢思考；二是相对优势项——当慢思考相对快回答有显著性能提升时，增加触发 <think> 的激励。
在技术实现上，ADaPT-GRPO 还引入了平衡双起点采样策略——每批样本中一半强制以 <think> 开头、一半以 <answer> 开头——防止模式坍缩。强制指定开头会使首个 token 的重要性比率频繁触发标准裁剪，削弱这一位置的训练信号。研究团队因此在首个 token 上采用 MiniMax-M1 中使用的 CISPO 比率约束，后续位置仍按原有 GRPO/PPO 目标更新。
7B 模型输出减少约 33%，平均准确率小幅下降
在 Qwen2.5-7B 和 Qwen2.5-3B 两个模型规模上的实验覆盖了从 CommonsenseQA、GSM8K、ARC 等"简单"任务到 MATH500、MMLU-Pro、Olympiad、AIME24 等"困难"任务的多层次基准。
主要结果来自长度与准确率的共同比较。
在 Qwen2.5-7B 上，ADaPT 将平均生成长度从 SFT+GRPO 的 1540 token 压缩到 1031 token（减少约 33%），平均准确率从 63.3% 降至 62.7%。对比之下，TLMRE（1299 token / 61.0%）、ARM（1131 token / 61.7%）和 R-4B（1044 token / 60.9%）在这里都生成了更长的输出，准确率也低于 ADaPT。在这组基线和评测条件下，ADaPT 取得了更好的长度与准确率组合。
分别固定快慢模式后，也能看出任务差异。7B 模型始终使用快模式（ADaPTanswer）时，在 CommonsenseQA 单项测试上的平均长度为 24 token，准确率达到 86.1%。当强制始终使用慢模式（ADaPTthink）时，在 AIME24 竞赛数学题上准确率达到 15.1%，超过 SFT+GRPO 的 14.4%。这两组结果说明，快模式能在部分简单任务上节省输出，慢模式则保留了处理困难题的能力。AIME24 使用多次采样的平均准确率 avg@32，其余基准使用 pass@1；结论应结合具体测试来读。
不重新训练，也能调整快慢模式的使用比例
训练完成后，用户可以调节模式选择 token 的生成概率阈值，改变快慢模式的使用比例，无需重新训练或切换模型。论文将得到的准确率与长度组合称为效率—性能 Pareto 前沿。
论文图 3 比较了不同设置：随着慢推理使用增加、生成长度变长，简单任务上的准确率先有所提升再趋于饱和，困难任务则继续获益。将其他基线方法投射到同一准确率-长度空间中，多数位于 ADaPT 曲线以内，也就是在相近 token 预算下准确率更低，或达到相近准确率需要更多 token。
这一设计让开发者可以在同一个模型版本中调整推理投入，减少为快慢两种行为分别维护模型的需要。适合哪种设置，仍要按任务准确率、延迟和成本验证。
产品接口已能调节推理，ADaPT 公开了训练方法
ADaPT 与商业模型的推理控制接口，关注的都是计算投入与回答质量的权衡，但提供的证据和控制方式不同。
OpenAI 的 GPT-5 支持 minimal/low/medium/high 四档，GPT-5.2 则支持 none/low/medium/high/xhigh 五档，默认值为 none。开发者可以按任务调整推理强度；这些接口本身并未完整披露模型内部如何学习分配推理量。
Anthropic 从 Claude 3.7 Sonnet 的 Extended Thinking 手动 token 预算，转向较新模型的 Adaptive Thinking。在 Claude Sonnet 5 中，自适应思考默认开启，旧的手动预算接口被移除，开发者仍可用 effort 控制投入。社区对移除手动预算有过讨论，但这与完全失去成本控制并不相同。
ADaPT 提供的是一套公开的训练和推理控制方法：模型学习如何选择快慢模式，用户则可以直接调节与模式生成概率对应的阈值。它便于研究者观察奖励设计如何影响模式选择，但论文没有与上述商业模型进行直接实验对比。
ADaPT 仍有适用范围。主实验使用 7B 和 3B 模型，附录还测试了 LLaMA3-8B 和 Qwen2.5-14B；快慢模式仍是 <think> / <answer> 二选一。更大规模模型、长上下文和多轮交互中的表现，还需要更多验证。将模式奖励单独处理，为研究效率优化提供了一个可检验的训练方案。
保留长推理能力，再学习何时需要使用它
ADaPT 借用了认知心理学双过程理论的启发：‘系统 1’描述快速、直觉式处理，‘系统 2’描述缓慢、分析式处理。在模型中，这被落实为快答和长推理两种输出方式。研究关心的是怎样学习使用条件，而不是让每个问题都生成同样长的推理。
它的具体尝试是：把效率相关奖励放在选择模式的位置，保留后续内容生成的正确性目标。主实验表明，这样可以明显缩短平均输出，同时保留大部分准确率；固定使用慢模式时，也能继续发挥长推理的能力。
商业产品的推理强度参数，已经让用户能够选择更多或更少的计算投入。ADaPT 则进一步公开了这种选择如何参与训练。后续值得检验的是：在更多模型和真实任务中，它能否稳定减少不必要的输出，并保持复杂任务所需的解题能力。
