终端 Agent 能在命令行环境中规划任务、执行命令、读取输出并迭代修正，已广泛用于编程产品。Anthropic 的 Claude Code 和各类终端原生工具，都让模型在 Shell 中执行这一流程。但终端任务需要长时间、多步骤交互，开源社区仍需要稳定、可复现的强化学习（RL）训练基线。
2026 年 6 月 22 日，华盛顿大学与 Allen AI 研究人员的 TMax 论文上线 arXiv。这套方案用按任务最终结果给奖励的 GRPO 变体，配合多样化训练环境和稳定性改进，提高了小模型的终端任务成绩。它没有引入复杂的奖励塑形或多阶段课程学习，重点在于把数据、算法和训练设施配合起来。
14,600 个训练环境支持 9B 与 27B 模型
TMax 包含两个组件：拥有 14,600 个 RL 环境的数据集 TMax-15k，以及基于 GRPO 变体和稳定性改进的训练方案。数据集规模是此前最大、公开完整环境的终端数据集的 2.5 倍以上。基于 Qwen 3.5 和 Qwen 3.6 的不同规模模型训练后：
- TMax-9B 在 Terminal-Bench 2.0 上达到 27.2%，在论文所比较、采用官方任务设定的 10B 参数以下开放权重模型中得分最高，超过了 32B 的 Nemotron-Terminal 和 TerminalTraj 等先前工作，逼近 Claude Haiku 4.5（29.8%）。
- TMax-27B 进一步提升至 42.7%，接近 1T 参数的 Kimi K2.5（43.2%）和 230B 的 MiniMax M2.7（45.1%）。
- 收益不仅限于终端任务：TMax-9B 在 SWE-Bench Verified 上从 44.0% 提升至 53.5%，AIME 2024/2025 在终端 Agent 设置下从 73.3% 提升至 91.1%。
模型权重、训练代码和数据集均已开放。论文中自训练模型采用同一工具框架评估，其他模型成绩取自此前论文或官方榜单，比较的是这些完整 Agent 设置的成绩。
长任务、数据不足和训练不稳限制开源研究
作者将开源终端 Agent 的训练困难归为三方面。
第一，任务难。 Terminal-Bench 2.0 包含 89 个多步骤终端任务，覆盖软件工程、机器学习、安全和数据科学等领域。完成这些任务，需要模型连续操作工具并根据反馈调整。论文指出，SETA、OpenThinker-Agent 等先前工作的 RL 增益约为 1 个百分点，较小的信号也增加了比较训练方法的难度。
第二，数据缺。 真实的终端操作轨迹稀缺且多为专有数据，而现有的合成数据集要么规模小、要么领域单一（例如 SWE-smith 的 95% 任务集中在软件工程），要么没有公开完整的 RL 环境。TMax-15k 提供了 14,600 个环境，领域平衡度达到 0.998（满分 1.0），高于论文所比较数据集的 0.146–0.646。
第三，训练方案不完整。 许多数据生成论文只验证监督微调（SFT），RL 训练的稳定性和工程细节公开较少。Nathan Lambert 将解释数据、算法、代码库和常见问题的研究称为“训练方案研究”（recipe work）：它需要交代别人复现实验所需的完整步骤。
按领域、技能和难度组合生成终端任务
TMax 通过分层采样九个结构化维度，组合生成每个任务。
其中领域、技能类型和基础技能参考了 Nemotron-Terminal 的分类体系，其余六个维度用于控制多样性和难度，包括任务复杂度（从几个命令到 30–60 个命令的复杂工作流）、命令复杂度（从纯 bash 到 bash、代码和系统服务的组合）、领域角色（按论文表格，每个领域 6–18 个）、语言、附带文件和验证方式。附带文件可包含 PNG、音频、视频和二进制等；模型仍以文本交互，通过 OCR、音频转录、ffmpeg 等终端工具读取这些内容。
生成流程主要采用三项设计：
在训练时过滤无效学习信号：此前的一些流程用强模型反复运行任务来验证质量，成本较高。TMax 跳过这一步，只检查环境能否构建运行；RL 训练再过滤同组所有尝试奖励都相同的样本，因为它们不贡献相对优势梯度。作者报告，每批被过滤的全零奖励样本通常少于 8 个。这样的过滤节省了验证成本，但无法替代对任务和评分器正确性的检查。
分层采样增加多样性：组合式采样配合角色和附带文件设置，让生成任务覆盖不同领域、难度和操作方式。
显式调整难度：默认均匀采样任务复杂度和命令复杂度，并加入指标阈值、对抗样本测试和随机输入等价性检查等验证方式。调整阈值和测试条件，可以改变任务难度，部分任务还提供连续值奖励。
在每个数据集固定抽取 250 个任务、每题运行 8 次的比较中，Gemini-3-Flash-Preview 在 TMax-15k 上的 Pass@1 为 42%、Pass@8 为 53%，低于 Endless Terminals 的 92% 和 95%，说明这批任务对该模型更难。研究还用 13-gram 滑动窗口比较任务描述，与 Terminal-Bench 和 TB-Lite 的文本重叠率均为 0%；这一结果覆盖的是该文本检测口径。
用 DPPO、全精度模型头和异步流程稳定训练
TMax 的算法以 GRPO（Group Relative Policy Optimization）为基础，只使用任务结果奖励，不训练额外的奖励模型。主要改动包括：
- 用 DPPO（Divergence Proximal Policy Optimization）替代原始 GRPO：DPPO 在推理（vLLM）和训练 logprob 不一致的 token 上进行掩码，使用总变分距离的二元近似。这项处理在论文实验中减轻了训练崩溃。
- Token 级损失：遵循 DAPO 的做法，在 Token 层级汇总损失。
- FP32 LM head：将语言模型头保持在全精度，以最小化训练/推理之间的数值不匹配。这对 Qwen 3.5 的混合架构尤为重要——论文中的消融实验显示，FP32 LM head 明显减小了训练早期的 logprob 差异尖峰。
- 全异步训练 + 零标准差组过滤 + 主动采样：遵循 Olmo 3 的工程实践。
基础设施方面，团队扩展了 open-instruct，使用 vLLM 进行 rollout，通过 Podman 或 Apptainer 运行沙箱。一个标准训练作业使用 8 节点 H100（2 训练 + 6 推理），耗时 2–3 天。关键超参数：500 训练步、group size 32、每批 8 个 prompt、最大上下文 65,536 token、每条轨迹最多 64 次工具调用；27B 版本因成本较高，训练到 300 步。
Nathan Lambert 在 Substack 中提醒，复现一次训练与建立整套方案的成本差别很大：一项标准作业用 8 节点 H100 运行 2–3 天，而团队大约进行了 O(100) 次这样的作业。他还举例，在 Tinker 上给 Nvidia Nemotron 3 Ultra 做一个 RL 步骤约需 1,000 美元，有意义的训练往往需要数百步。他估计，不同项目从零建立可用 RL 基线可能耗时数周，花费 1 万至 100 万美元以上。
同一批 SFT 数据对两个基座模型效果不同
论文发现，使用团队的 SFT 数据微调 Qwen 3.5-9B 后，终端基准成绩下降，即使这些数据由更强的 Qwen 3.6-27B 生成。同样的数据却改善了较老的 Qwen 3-8B。这里比较的是 SFT 前后成绩；团队因此在 Qwen 3.5 和 3.6 上直接进行 RL。
作者推测，Qwen 3.5 已经过大量后训练，现有模仿数据未必能带来增益。对复现团队而言，SFT 是否适合作为 RL 的预热步骤，需要在所选基座与数据上先做比较，不能仅凭教师模型更大就判断。
长轨迹和沙箱负载仍会引发训练不稳定
论文也记录了尚未解决的稳定性问题：训练经常在 300 步后崩溃。作者将其归因于训练与推理的数值不匹配、通常超过 20 步的长任务，以及大量沙箱同时运行的资源负载。Qwen 3.5 的混合架构加剧了数值差异，但类似不稳定也出现在 Qwen 3-8B 上。
从 GRPO 切换到 DPPO、增大 group size，以及使用 FP32 LM head，都改善了训练稳定性。团队认为，进一步稳定训练后，有可能用更长的训练获得更好的模型，效果仍待后续实验验证。
增益延伸到其他任务和工具运行框架
论文从三方面检验训练收益能否迁移：
- 跨任务：SWE-Bench Verified 提升 9.5 个百分点，AIME 2024/2025 在终端 Agent 设置下提升 17.8 个百分点。
- 跨工具框架（harness）：在自有框架、OpenHands、mini-SWE-agent 和 Terminus-2 四种设置下，TMax-9B 的 Terminal-Bench Lite 成绩均高于基座，增幅约为 9–15 个百分点。
- 跨模型：Qwen 3-8B 先做 SFT、再做 RL，Terminal-Bench Lite 从初始 7.3% 提升至 17.7%；更难的 Terminal-Bench 2.1 上增益较小。
这些结果支持训练收益可以跨任务和工具设置迁移的判断。其中，自有工具框架的提升最大；开放评估结果也为后续分析模型学到了哪些操作能力提供了依据。
完整开放数据和训练记录，便于继续做消融实验
TMax 提供了一个可供其他实验室继续修改和比较的基线。除了最终分数，数据生成方式、算法改动、工程配置和失败记录，也有助于减少从零摸索 RL 训练流程的成本。
Lambert 希望，更多团队能在已有方案上做小规模消融实验。他认为，大多数实验室缺少从零建立有效 RL 基线的资源，TMax 至少能为终端 Agent 研究提供一个起点。
Lambert 还将这一工作放在 RL 研究的变化中讨论：2025 年初的可验证奖励强化学习（RLVR）研究较多围绕数学任务，实验可以从基座模型出发；复杂 Agent 任务还涉及工具调用、历史管理和更长训练。他认为，这使可靠的实验设计和可比较的公共基线变得更加重要。
TMax 已开放数据、2B/4B/9B/27B 模型、代码，以及部分 RL 训练的 rollout 和 logprob 记录。对编码自动化或 DevOps 团队，这些材料提供了可以自行部署和研究的起点。不过，TMax-27B 的 42.7% 也说明，它距离稳定完成这一终端基准的全部任务还有明显差距；训练稳定性和沙箱资源成本仍限制着进一步扩展。
