代码 Agent 评测正在经历一场静默但根本性的范式转移。6 月 29 日，Meta 团队在 arXiv 上发布了 SWE-Together——一个从 11,260 次真实用户-Agent 编程会话中重建的多轮交互基准。它不再问「Agent 能不能写出正确代码」，而是追问一个更贴近日常开发的问题：Agent 在协作中需要多少次人工纠正才能到达终点？
这一追问的时机并非偶然。随着 SWE-bench Verified 上 Claude Mythos 5 达到 95.5%、Opus 4.8 达到 88.6%，传统静态基准正逼近天花板，越来越难以区分前沿模型之间的实质性差异。更关键的是，OpenAI 已经停止报告 SWE-bench Verified 成绩，理由是剩余任务中大量测试用例拒绝功能正确的方案或要求未明确规定的行为——这一退场本身就宣告了「交卷打分」范式的疲态。
从 11,260 到 109：基准构建的严格筛选
SWE-Together 的任务并非人工编写，而是来自四个上游开源数据集的真实会话：DataClaw、Pi-staging、Hyperswitch 和 SWE-chat。Meta 团队设计了一条三阶段流水线，将原始会话转化为可复现的沙箱任务。
第一阶段是确定性规则过滤：会话必须包含多轮真实用户消息、Agent 的实际代码编辑行为，且涉及的仓库为公开的、足够成熟的项目。最终补丁主要由人类用户编写的会话被排除——确保每个入选任务中 Agent 完成了实质性的编码工作。
第二阶段由 LLM 进行可行性筛选：判断会话的核心编码目标是否可以在本地环境中重构，排除依赖外部状态（PR 管理、部署操作、私有凭证）的任务。
第三阶段在隔离沙箱中完成最终构建：克隆仓库到固定 commit、识别测试命令、生成用户模拟提示词。最终 11,260 个会话中只有 109 个通过全部筛选，转化率仅为 0.97%。这种极低通过率反映的恰恰是真实编程会话的嘈杂本质——大部分对话难以标准化为可复现的评测任务。
用户模拟器：核心方法论创新
SWE-Together 的方法论创新不在于任务本身，而在于如何「重放」这些任务。传统的多轮评测要么固定推进用户消息（时机可能与新 Agent 的轨迹不匹配），要么使用通用角色扮演（容易偏离原始任务意图）。
Meta 的方案是一个锚定状态条件的 LLM 用户模拟器。每次重放时，模拟器在每个 Agent 回合结束后汇总实时轨迹，做出一次结构化决策：发送消息或保持沉默。它的动作空间包括五个选项——no-op（默认）、question（澄清）、redirect（纠偏）、new-requirement（新增需求）、check-external（要求检查外部产物）。
关键设计在于「锚定」而非「调度」：模拟器只有在 Agent 轨迹触发特定条件时才会介入，时机和内容都根植于原始会话的分析结果。这意味着不同 Agent 可能收到不同数量和不同时机的反馈，但这些反馈始终忠于原始用户的意图和范围。
论文通过两个诊断指标验证了这一设计。Intent Coverage 衡量模拟器是否完整传达了原始用户意图（加权召回率 70%）且保持在原始范围内（精确度 30%）。实验结果令人放心：七款模型中有六款的 Intent Coverage 在 0.70 到 0.72 之间，差异极小，说明模拟器行为跨模型稳定。
更具说服力的是图灵测试：四位人工标注者在 312 次二选一判断中无法可靠区分模拟用户和真实用户——模拟器的图灵通过率为 46%（95% CI 包含 50%），即统计上不可区分。
七款模型对决：能力越高，纠偏越少
论文使用统一的 opencode harness 评测了七款前沿模型，每任务运行 2 次副本（k=2）。评分不依赖简单的测试通过/失败，而是使用一个冻结的双阶段 Agent 评判器：第一阶段为每个任务生成加权完整性目标，第二阶段对所有候选方案应用相同的 rubric。成功阈值设为 judge score ≥ 0.85。
主要发现如下：
Claude Opus 4.8 全面领先：pass@1 63%、SSR 59%、pass² 52%、MeanJudge 0.801，四项正确性指标均为最高。同时 User Correction 仅为 1.38，是七款模型中最低的——意味着模拟用户平均只需约 1.4 次显式纠正就能让 Agent 走上正轨。
GPT-5.5 是效率冠军：以 MeanJudge 0.763 排名第二，但每任务仅消耗 29,900 个输出 token 和 10.7 分钟——在所有模型中效率最高。Opus 4.8 虽然得分最高，但 token 消耗为 74,000，是 GPT-5.5 的 2.5 倍。
GLM-5.2 和 GLM-5.1 构成中坚梯队：SSR 分别为 48% 和 49%，但 GLM-5.2 的 pass²（42% vs 35%）优势明显，说明其在副本间的一致性更高。
MiniMax-2.7 垫底：四项正确性指标均为最低，User Correction 最高（2.17）。
论文中最具洞察力的发现是能力与纠偏成本的强负相关。User Correction 与 pass@1 的 Pearson 相关系数为 -0.92，与 SSR 为 -0.84，与 MeanJudge 为 -0.93。这种关系在仅统计「收到至少一次纠正」的任务子集和「困难任务」（MeanJudge < 0.85）子集上同样成立。换句话说，更强的模型不仅更常完成任务，而且完成任务所需的用户推背感更少——这直接影响了开发者体验。
参考基线 78%：天花板远未触及
一个容易被忽略但至关重要的事实是：参考补丁（原始会话中人类-Agent 协作的实际结果）本身的 pass 率约为 78%，MeanJudge 为 0.90。这意味着即便是 Opus 4.8 的最佳表现，距离参考基线仍有约 15 个百分点的差距。
论文分析了参考基线未达到 100% 的三个原因：约 35% 未满足的目标是「过程性需求」（如先诊断根因再修改、回答后续问题），这些是最终代码补丁无法体现的；少量参考补丁不完全捕获跨多 commit 或跨会话的工作；还有极小部分确实是原始会话中的不完美解决方案。重要的是，同一冻结 rubric 适用于参考补丁和所有 Agent，因此参考行应被视为「同等评分标准下的参考点」而非可解决性上限。
评测范式迁移的信号
SWE-Together 的出现不是一个孤立的基准发布。它与近期一系列动态形成共振：OpenAI 退出 SWE-bench Verified 报告、DeepSWE 记录 SWE-bench Pro 中验证器可靠性问题、以及业界对「Agent 不应仅按最终代码正确性评估」的共识增长。
Meta 的贡献在于提供了一个系统性的替代方案：不依赖固定的 test suite、不要求 Agent 模仿参考实现的路径、将评测从「结果导向」拓宽为「过程加结果」。User Correction 这一指标尤其值得关注——它直接将模型能力翻译为开发者时间成本，为企业选择部署哪个模型提供了一个比 pass@1 更务实的决策维度。
但 SWE-Together 也有明确的边界：模拟器不能中断 Agent 运行中的回合、不能直接编辑文件、依赖纯文本轨迹而非界面视觉信息。它最适合目标清晰、结果可衡量的任务，对模糊开放式任务和难以量化的用户行为覆盖有限。109 个任务的规模也意味着统计显著性需要审慎解读。
更深层的张力在于：如果最强的模型（Opus 4.8）在模拟真实协作中仍有近 40% 的任务需要一次以上纠正，那么当前代码 Agent 在真实工程场景中的自主可靠性究竟处于什么水平？SWE-Together 给出的答案比静态基准更为诚实：还差得远，但我们至少开始用正确的方式测量距离。
