8 月 27 日，斯坦福大学与 Laude Institute 发布 Terminal-Bench-Science 0.1，这项基准由科学家提供真实任务，用于检验 AI 完成科研工作的能力。它用 70 项来自研究者真实工作的计算任务评测 Agent，首轮评测显示：9 个受测模型里最强的 Claude Opus 5 配 Claude Code，解决率只有 30.0%。而按该基准资助方之一 Snorkel 的对照，前沿模型在通用编码基准上通常能拿到 50%–80% 的解决率。这组结果提示，完成实际科研工作流对当前 Agent 仍有难度，研究者的参与和判断依然不可缺少。
同一天，Anthropic 发布了面向物理设备的 Model Hardware Standard（MHS），让 Agent 操作显微镜、机械臂等实验硬件。这两项发布分别涉及 AI 科研的两个环节：MHS 规定如何操作设备，Terminal-Bench-Science 检查 Agent 能否完成工作流。
从研究者的实际工作中筛选可检验的任务
Terminal-Bench-Science 将研究者实际遇到的问题纳入评测。70 项任务覆盖生命科学（19）、物理（17）、数学（17）、工程（9）与地球科学（8）五个领域，每一项都来自一名研究者实际做过的工作，而不是教科书习题或标准考试题。项目给任务立了三条标准：来自真实科研工作流、可用确定性的 pytest 检验客观判定（排除假设生成、文献综述这类开放式工作）、并且确实能难住当今最强的 Agent。
任务经过多轮筛选：920 个提案，464 个获批进入实现，386 个提了 pull request，最终只有 70 个进入 0.1 版；376 位贡献者来自 22 个国家。评审也分为多个步骤：提案先经 LLM 初筛，再由领域评审与技术评审并行审查，最后由把关评审批准；合并前还要跑 frontier、oracle 与「作弊 Agent」三轮试跑，确认任务可解、可判分、无法用捷径绕过。评测时，Agent 的工作容器与判分容器相互分离，判定由确定性程序完成，而不是让模型自评——上一代评测已经证明，依赖 Agent 自检会系统性漏掉「自信地出错」的失败。
最佳组合完成 30% 任务，分领域表现和成本差异明显
结果按「每任务三次独立试验、70 任务全跑」的口径给出。Claude Opus 5（Claude Code）30.0%，GPT-5.6 Sol（Codex）22.4%，Claude Fable 5（Claude Code）21.4%，其后降至 Claude Opus 4.8 的 10.5%、GPT-5.6 Terra 的 8.6%；开源侧最强的是 GLM 5.3（8.1%），GPT-5.6 Luna 以 3.3% 垫底。团队还给出了跨基准对照：与自家软件工程基准 Terminal-Bench 3.0 相比，每个同时受测的模型解决率都低了超过 10 个百分点。
分领域看，差距并不均匀。Opus 5 在物理科学做到 45.8%，是其最强领域；但在数学科学跌到第三（25.5%），被 Fable 5（33.3%）与 Sol（31.4%）反超。几乎所有领域的前两名都被 Anthropic 与 OpenAI 包揽，唯一例外是工程科学：Grok 4.6 与 Sol 并列第二（14.8%），成本与 token 用量却低得多。
不同模型的评测成本差别也很大。跑完全部 70 项任务，Opus 5 花了约 7,000 美元；Sol 用 4,200 美元就追平了 Fable 5 的性能（后者要 14,200 美元）；按 token 算，Fable 5 又比 Sol 少用约四分之一（64 亿对 84 亿）。只有 Kimi K3 与 Opus 5 同时出现在「成本—解决率」和「token—解决率」两条帕累托前沿上——便宜与强，目前仍难以兼得。
持续增补任务，并标记数据以减少训练污染
与一次性发表的论文式基准不同，Terminal-Bench-Science 把自己定义为「连续基准」。每次发布都按照当时前沿模型的能力调整难度（0.1 以 Opus 5 与 Sol 为参照），任务被饱和或被发现规格不清时会退役，新任务持续进入；任务版本化后可以只重跑、重判已有试验，不必重做整套基准。0.2 版的 pull request 截止日期是 10 月 5 日。
为减少训练数据污染，仓库明文标注「基准数据永远不应出现在训练语料中」，并嵌入一个 canary GUID 字符串，供训练数据方过滤。这个机制只能降低、不能根除污染风险，但它把「不进训练集」从口头约定变成了可检索的标记。
样本覆盖有限，仍需独立复现
解读这些结果需要注意评测范围。这些数字是项目团队自己跑出来的，尚未经第三方大规模复现；70 项任务样本有限，领域覆盖也不均衡——地球科学只有 8 项，个别子领域（如大气科学）在公开任务表里还是 0。30% 测的是「工作流完成率」，不能外推成「模型只有三成科研能力」。项目也披露了评测相关的任职和资助关系：首席顾问之一 Ludwig Schmidt 同时在 Stanford 与 Anthropic 任职，Anthropic 又与 Google、Moonshot、xAI、Z.ai 一起为评测提供了 API 额度——这一点是项目自己在致谢中披露的，属于常见的评测资助模式，同时也表明，评测的支持方与受测模型供应商之间存在利益关联。
后续除了模型分数，还需要看这套由科学家提供任务的机制能否被独立复现，并覆盖更多科研工作：0.2 版能否在 10 月 5 日截稿前把 70 项扩大到更均衡的覆盖面，以及是否有第三方用不同的 Agent 执行框架（harness）重跑这些结果。「AI 科学家」的叙事已经存在多年，Terminal-Bench-Science 提供了一套由科学家制定、可复查的测量标准，当前最佳组合的任务完成率是 30%。
