2026 年 6 月 30 日，OpenAI 发布 GeneBench-Pro，一个包含 129 道研究级计算生物学问题的 AI Agent 基准测试。同一天，Anthropic 在旧金山举办 AI for Science 活动，正式推出 Claude Science 科研工作台。两项发布显示，前沿AI公司正同时推进生物学能力评估和科研应用。编程领域围绕SWE-bench形成的多方评测，也为观察这一领域提供了参照。
官方测试中，最强模型通过率为 31.5%
GeneBench-Pro的官方测试显示，前沿模型仍难可靠完成多数题目。
GPT-5.6 Sol 在最高推理设置下达到 28.7% 的通过率，启用 Pro 模式后升至 31.5%。Claude Opus 4.8 拿到 16.0%，Gemini 3.1 Pro 仅为 3.1%。在更早的 GeneBench v1 上，GPT-5.5 Pro 得分为 33.2%。两次测试的模型和题目均有变化，仅凭这两个分数还不能隔离基准难度的差异。外部评审估计，每道题目需要人类专家投入 20 到 40 小时才能完成。
这种较低的初始通过率，容易让人联想到早期SWE-bench对代码模型提出的挑战；两个领域的任务和评分方式仍需分别理解。
更值得关注的是进步速率。OpenAI 透露，最初构建 GeneBench 时，其最强前沿模型 GPT-5 的得分不到 5%。从不到 5% 到 31.5%，OpenAI据此预测，按当前进展，GeneBench-Pro可能在2026年底前被「饱和」——即最强模型接近满分。这一预测尚待验证，基准接近满分也不等同于模型已能可靠完成真实药物发现或临床研究。
题目要求识别数据问题并调整分析方法
大多数现有 AI 生物学基准测试的是知识检索或单步推理：模型能否解释基因调控网络、识别蛋白质结构？GeneBench-Pro则要求模型完成多阶段数据分析。
每道题目向 AI Agent 交付三样东西：一个逼真且故意掺入噪声的数据集，一段简要的实验背景描述，以及一个与下游科研或临床决策挂钩的目标估计量。Agent 必须完成完整的科研分析链路：探索数据、识别质控问题（样本标记错误、祖源标签错配、古老 DNA 偏倚、测量误差）、选择合适的分析方法、在早期结果表明初始方案有问题时迭代调整、最终以结构化格式输出一个数值答案。
题目覆盖 10 个领域、21 个子领域：统计遗传学、群体基因组学、数量遗传学、调控组学、功能基因组学、蛋白质组学、临床药物基因组学、癌症体细胞基因组学、微生物基因组学、法医遗传学。
OpenAI 将这套能力称为「科研品味」（research taste）：哪些问题是数据真正能支持的、哪些早期预警信号意味着该更换模型、何时应当抛弃初始分析计划。对任何正在向生物技术和制药工作流部署 AI Agent 的团队来说，这套框架提供了检查模型分析错误的一种方式。
用已知生成过程的合成数据确定评分目标
GeneBench-Pro通过合成数据，减少科学分析题中评分目标不明确的问题。许多早期生物基准基于历史真实数据集构建，但一个混乱的真实数据集可能支持多种合理的分析路径——模型选择了一条合理路径，却可能因为基准作者选择了另一条而被判错。
GeneBench-Pro 从完全已知的因果结构中合成生成每一道题目。因为 OpenAI 控制了数据生成的整个过程，它可以对答案进行确定性评分，调校题目难度，运行消融实验确认「看起来合理但实际错误」的分析路径确实会失败，并审计信息泄露和意外捷径。
OpenAI 将 129 道题目中的 82 道送交外部领域专家评审——包括研究生、博士后、工业界科学家和教授——以验证真实性和目标答案的可识别性。每个 Agent 在配备标准生物信息学工具栈（Python、科学计算库、PLINK 2.0）的隔离工作区中运行，不依赖任何领域专有工具。
模型识别出异常后，仍可能沿用错误方法
外部评审指出了一类反复出现的失败模式。Gencove 数据科学总监 Lex Flagel 观察到，模型经常未能妥善处理数据异常这一类问题：「大多数 Agent 在数据异常（如祖源标签错配）上出了问题。它们对数据问题不够警惕。」他补充道，「大量生物数据都存在不规则性。」
OpenAI 将这种模式称为「注意到-行动缺口」（noticing-to-acting gap）：模型经常识别出局部诊断信号——伪影、混杂变量、质控失败——却未能据此调整后续分析决策。它们选择了错误的估计量，或坚持了一条最初看似合理但实际错误的分析路径，即便自身的探索性分析已经揭示了问题。
论文中有一个具象案例：面对一个涉及时变治疗和混杂反馈的药物基因组学时间-事件问题时，GPT-5.5 使用了常规 Cox 结局模型，但没有处理治疗-混杂反馈——这是一个实质性错误。GPT-5.6 Sol 使用了更适当的边际结构 Cox 模型，配以稳定化逆概率权重，排除了标记为既往已用药的患者，将暴露视为时变并设置 90 天疗效滞后期。两个结果的差异不在于「知道哪种检验存在」，而在于「识别出数据结构要求更复杂的方法」。
UCLA 人类遗传学助理教授 Alexander Strudwick Young 确认了难度水平：这些问题对研究生来说也很难在没有导师反复反馈的情况下完成，需要的不是套用现成方法，而是审慎分析和识别潜在陷阱的能力。
两家公司相继发布生物学基准与科研工具
近期相关发布集中在基准和科研工具两个方向：
2026 年 6 月初：Anthropic 发布 VirBench，一个包含 120 道病毒序列检索查询的基准，横跨 40 种病原体。结果显示，六个前沿模型在没有专用工具的情况下准确率在 16.9% 到 91.3% 之间大幅波动，且同一模型三次运行的结果相差悬殊——Sonnet 4 对同一条埃博拉查询三次分别返回 106 条、15 条和 5 条序列（正确答案是 266 条）。当加入确定性检索层 gget virus 后，所有模型的准确率跃升至 90% 以上，GPT-5.5 达到 99.7%。
2026 年 6 月 30 日：Anthropic 在旧金山举办 AI for Science 活动，发布 Claude Science——一个集成 60 余种预配置工具和科学数据库连接器的科研工作台，同时宣布启动针对被忽视疾病的内部药物发现计划。
2026 年 6 月 30 日（同日）：OpenAI 发布 GeneBench-Pro。
后续评测计划：OpenAI已宣布开源10道代表性题目，并计划近期将50道题目交给第三方评测平台Artificial Analysis。
编程领域的SWE-bench也经历了任务集修订、多个厂商参评及第三方比较。基准能够帮助不同团队对照能力，但未必能消除所有评测争议。2024 年 8 月 OpenAI 发布 SWE-bench Verified（人工验证子集）后，Anthropic、Google、开源社区相继加入竞争，Claude Fable 5则曾以0.950的分数位列榜单前列。
生物学能否形成类似的共同评测标准，还取决于题目开放程度和外部采用情况。
能力基准与实际科研工作台各自解决什么问题
GeneBench-Pro 与 Claude Science 虽然同一天发布且同属「AI + 生物学」范畴，争夺的却是两个不同的层面。
GeneBench-Pro 是一个基准测试。它测量的是 Agent 在科学不确定性下进行多步判断和推理的能力——这是一种可量化、可排名的「能力层」。Claude Science 是一个产品。它是一个可用的科研工作台：60+ 预配置工具、HPC 接入、可审计的可复现产出、审核 Agent 自动检查引用和计算错误。两者不直接可比：前者检查特定分析任务的完成能力，后者提供科研人员实际调用模型与工具的环境。
这种格局意味着生物学领域的竞争将同时在两个维度展开。基准层面，GeneBench-Pro 和 VirBench 各自代表了不同的评估哲学：前者通过合成数据追求确定性评分和难度调校，后者通过真实病毒检索任务暴露基础设施层面的 Agent 脆弱性、然后展示工具化解决路径。产品层面，Claude Science 的先发优势和 OpenAI 的 GPT-Rosalind（2026 年 4 月发布，专为生物推理微调的模型）形成差异化竞争。
公开 10 道题，计划交由第三方评测 50 道
OpenAI 将 10 道 GeneBench-Pro 代表性题目完全开源至 Hugging Face，并提供交互式浏览界面。另有 50 道题目子集将交付 Artificial Analysis 进行独立基准评测。
题目开放有助于外部检查测试设计。模型厂商自建基准也存在利益关系——一篇 2026 年 6 月发表在 Nature Medicine 上的同行评议分析已指出，行业自建基准可能系统性偏向其创建者的系统。计划交给第三方的50道题约占全部129道题的39%，有助于比较不同测试环境下的结果。公开题目也降低了学术界复现的门槛；能否成为社区标准仍需看采用情况。
还需比较专家耗时、进步速度与第三方结果
GPT-5.6 Sol Pro 的 31.5% 固然引人注目，同时还需结合三个方面理解。
一是 20-40 小时。 外部评审估计，GeneBench-Pro 的单题人类专家耗时在 20 到 40 小时之间。按OpenAI假设的每小时200美元计算，人工完成一道题的成本达数千美元。而 AI 推理成本仅数美元。这一成本差异提示了部分自动化的潜在价值：AI完成较可靠的环节，人类处理其余问题。不过实际节省还需计入复核和纠错成本。
二是从不到 5% 到 31.5% 的速度。这一跨越发生在 GeneBench 从初版到 Pro 版的开发周期内。OpenAI预测2026年底前可能接近满分，但原版与Pro版并非完全相同的测试，不能把这些数字直接当作固定试卷上的增长曲线。实际部署仍需评估可靠性、审计方式和人类决策责任。
三是 Artificial Analysis 即将发布的独立评测。 在第三方结果出来之前，GeneBench-Pro 的排行榜反映的是同一家组织对其自建基准和自有模型的内部评估。GPT-5.6 Sol Pro 的 31.5% 是否在独立测试中成立，将为评估基准的可信度和适用范围提供更多依据。
GeneBench-Pro将一部分难以概括的科研判断转化为可测试的任务。接下来12个月，需要观察独立评测是否支持官方结果、社区能否复现题目，以及模型在真实研究中是否仍会重复这些分析错误。
