2026 年 6 月 30 日,OpenAI 发布 GeneBench-Pro,一个包含 129 道研究级计算生物学问题的 AI Agent 基准测试。同一天,Anthropic 在旧金山举办 AI for Science 活动,正式推出 Claude Science 科研工作台。这不是巧合。生物学正在成为前沿 AI 公司继编程之后的第二个「基准战场」——其演化路径几乎是在重播 2024-2025 年 SWE-bench 从单方基准变为多方竞赛、最终由第三方仲裁的完整剧本。
129 道题,最高分 31.5%
GeneBench-Pro 的分数表揭示的不是谁赢了,而是所有人离及格线还有多远。
GPT-5.6 Sol 在最高推理设置下达到 28.7% 的通过率,启用 Pro 模式后升至 31.5%。Claude Opus 4.8 拿到 16.0%,Gemini 3.1 Pro 仅为 3.1%。在更早的 GeneBench v1 上,GPT-5.5 Pro 得分为 33.2%——说明 GeneBench-Pro 的难度确实更高了一档。外部评审估计,每道题目需要人类专家投入 20 到 40 小时才能完成。
上一次见到这种「最强模型得分不到三分之一」的局面,是 2024 年 SWE-bench 刚推出时。
更值得关注的是进步速率。OpenAI 透露,最初构建 GeneBench 时,其最强前沿模型 GPT-5 的得分不到 5%。从不到 5% 到 31.5%,这个爬升速度意味着,按当前轨迹,GeneBench-Pro 可能在 2026 年底前就被「饱和」——即最强模型接近满分。若这一预测兑现,其对药物发现、基因组学和临床研究的影响将是实质性的。
测的不是知识,是「科研品味」
大多数现有 AI 生物学基准测试的是知识检索或单步推理:模型能否解释基因调控网络、识别蛋白质结构?GeneBench-Pro 走了一条更硬核的路线。
每道题目向 AI Agent 交付三样东西:一个逼真且故意掺入噪声的数据集,一段简要的实验背景描述,以及一个与下游科研或临床决策挂钩的目标估计量。Agent 必须完成完整的科研分析链路:探索数据、识别质控问题(样本标记错误、祖先交换、古老 DNA 偏倚、测量误差)、选择合适的分析方法、在早期结果表明初始方案有问题时迭代调整、最终以结构化格式输出一个数值答案。
题目覆盖 10 个领域、21 个子领域:统计遗传学、群体基因组学、数量遗传学、调控组学、功能基因组学、蛋白质组学、临床药物基因组学、癌症体细胞基因组学、微生物基因组学、法医遗传学。
OpenAI 将这套能力称为「科研品味」(research taste):哪些问题是数据真正能支持的、哪些早期预警信号意味着该更换模型、何时应当抛弃初始分析计划。对任何正在向生物技术和制药工作流部署 AI Agent 的团队来说,这套框架准确地命名了当前模型反复出错的环节。
合成数据 + 确定性评分:解决了生物基准的核心难题
GeneBench-Pro 在技术设计上解决了一个此前困扰长周期科学基准的结构性问题。许多早期生物基准基于历史真实数据集构建,但一个混乱的真实数据集可能支持多种合理的分析路径——模型选择了一条合理路径,却可能因为基准作者选择了另一条而被判错。
GeneBench-Pro 从完全已知的因果结构中合成生成每一道题目。因为 OpenAI 控制了数据生成的整个过程,它可以对答案进行确定性评分,调校题目难度,运行消融实验确认「看起来合理但实际错误」的分析路径确实会失败,并审计信息泄露和意外捷径。
OpenAI 将 129 道题目中的 82 道送交外部领域专家评审——包括研究生、博士后、工业界科学家和教授——以验证真实性和目标答案的可识别性。每个 Agent 在配备标准生物信息学工具栈(Python、科学计算库、PLINK 2.0)的隔离工作区中运行,不依赖任何领域专有工具。
「注意到但不动手」——模型的系统性盲区
外部评审精准地指出了模型的系统性失败模式。Gencove 数据科学总监 Lex Flagel 观察到,模型似乎在分析流程的第二步一致地失败:「大多数 Agent 在数据异常(如祖先交换)上出了问题。它们对数据问题不够警惕。」他补充道,「大量生物数据都存在不规则性。」
OpenAI 将这种模式称为「注意到-行动缺口」(noticing-to-acting gap):模型经常识别出局部诊断信号——伪影、混杂变量、质控失败——却不能将该观察传导为正确的下游分析决策。它们选择了错误的估计量,或坚持了一条最初看似合理但实际错误的分析路径,即便自身的探索性分析已经揭示了问题。
论文中有一个具象案例:面对一个涉及时变治疗和混杂反馈的药物基因组学时间-事件问题时,GPT-5.5 使用了常规 Cox 结局模型,但没有处理治疗-混杂反馈——这是一个实质性错误。GPT-5.6 Sol 使用了更适当的边际结构 Cox 模型,配以稳定的逆概率权重,排除了标记的普遍使用者,将暴露视为时变并设置 90 天疗效滞后期。两个结果的差异不在于「知道哪种检验存在」,而在于「识别出数据结构要求更复杂的方法」。
UCLA 人类遗传学助理教授 Alexander Strudwick Young 确认了难度水平:这些问题对研究生来说也很难在没有导师反复反馈的情况下完成,需要的不是套用现成方法,而是审慎分析和识别潜在陷阱的能力。
基准军备竞赛:从 SWE-bench 到 GeneBench-Pro
GeneBench-Pro 的发布时间窗口本身就是故事的一半。让我们梳理时间线:
2026 年 6 月初:Anthropic 发布 VirBench,一个包含 120 道病毒序列检索查询的基准,横跨 40 种病原体。结果显示,六个前沿模型在没有专用工具的情况下准确率在 16.9% 到 91.3% 之间大幅波动,且同一模型三次运行的结果相差悬殊——Sonnet 4 对同一条埃博拉查询三次分别返回 106 条、15 条和 5 条序列(正确答案是 266 条)。当加入确定性检索层 gget virus 后,所有模型的准确率跃升至 90% 以上,GPT-5.5 达到 99.7%。
2026 年 6 月 30 日:Anthropic 在旧金山举办 AI for Science 活动,发布 Claude Science——一个集成 60 余种预配置工具和科学数据库连接器的科研工作台,同时宣布启动针对被忽视疾病的内部药物发现计划。
2026 年 6 月 30 日(同日):OpenAI 发布 GeneBench-Pro。
2026 年 7 月上旬:OpenAI 将 10 道代表性题目开源至 Hugging Face,并将 50 道题目子集交付第三方评测平台 Artificial Analysis 进行独立基准测试。
这一序列与 2024-2025 年 SWE-bench 的演化路径惊人一致:一家公司建立基准,另一家以更难的版本回应,基准数量激增,最终由第三方标准化评测解决争议。2024 年 8 月 OpenAI 发布 SWE-bench Verified(人工验证子集)后,Anthropic、Google、开源社区相继加入竞争,到 2026 年初,Claude Fable 5 以 0.950 的分数领跑榜单。
生物学基准正在复制这一轨迹——只是节奏更快。
两个维度的竞争:基准 vs 产品
GeneBench-Pro 与 Claude Science 虽然同一天发布且同属「AI + 生物学」范畴,争夺的却是两个不同的层面。
GeneBench-Pro 是一个基准测试。它测量的是 Agent 在科学不确定性下进行多步判断和推理的能力——这是一种可量化、可排名的「能力层」。Claude Science 是一个产品。它是一个可用的科研工作台:60+ 预配置工具、HPC 接入、可审计的可复现产出、审核 Agent 自动检查引用和计算错误。两者不直接可比,但共同定义了竞争轴线:OpenAI 正在定义「AI 能做多难的科学」,Anthropic 正在定义「科学家如何用 AI」。
这种格局意味着生物学领域的竞争将同时在两个维度展开。基准层面,GeneBench-Pro 和 VirBench 各自代表了不同的评估哲学:前者通过合成数据追求确定性评分和难度调校,后者通过真实病毒检索任务暴露基础设施层面的 Agent 脆弱性、然后展示工具化解决路径。产品层面,Claude Science 的先发优势和 OpenBio 的 GPT-Rosalind(2026 年 4 月发布,专为生物推理微调的模型)形成差异化竞争。
开源题目的信号
OpenAI 将 10 道 GeneBench-Pro 代表性题目完全开源至 Hugging Face,并提供交互式浏览界面。另有 50 道题目子集将交付 Artificial Analysis 进行独立基准评测。
这个举动传递了两个信号。第一,OpenAI 意识到「既当裁判又当运动员」的信任问题——一篇 2026 年 6 月发表在 Nature Medicine 上的同行评议分析已指出,行业自建基准可能系统性偏向其创建者的系统。将半数以上题目交给第三方评测是必要的信任建设。第二,开源题目降低了学术界的复现门槛,客观上加速了该基准成为社区标准的进程——这正是 SWE-bench 走过的路。
当前最应该关注的数字不是 31.5%
GPT-5.6 Sol Pro 的 31.5% 固然引人注目,但有三个更值得关注的数据点。
一是 20-40 小时。 外部评审估计,GeneBench-Pro 的单题人类专家耗时在 20 到 40 小时之间。按保守的每小时 200 美元计算,人工完成一道题的成本达数千美元。而 AI 推理成本仅数美元。经济鸿沟如此之大,即便 AI 只能可靠完成它擅长的部分、将剩余部分升级给人类专家,在高通量研究管线中也能产生可衡量的价值。
二是从不到 5% 到 31.5% 的速度。这一跨越发生在 GeneBench 从初版到 Pro 版的开发周期内。如果 2026 年底前 GeneBench-Pro 真的被饱和,届时 AI 驱动的计算生物学分析将不再是一个「能不能做」的问题,而是一个「何时部署、如何审计、谁来做最后决策」的问题。
三是 Artificial Analysis 即将发布的独立评测。 在第三方结果出来之前,GeneBench-Pro 的排行榜反映的是同一家组织对其自建基准和自有模型的内部评估。GPT-5.6 Sol Pro 的 31.5% 是否在独立测试中成立,将直接决定这个基准的可信度和后续采用率。
生物学基准的「SWE-bench 时刻」已经到来——不是因为它已经解决了问题,而是因为它终于提出了正确的问题。接下来 12 个月,我们将看到它重复 SWE-bench 的完整弧线:从两家公司的双边竞赛,演变为由社区、学术界和独立评测机构共同定义的标准。对 AI for Science 而言,这是一场值得认真观看的比赛。
