HealthAgentBench：医疗 Agent 评测从问答题走向真实临床工作流，最强模型仅 42% 成功率

医疗 AI 评测正在经历一场迟来的范式转换。过去几年，MedQA、MedMCQA 等医学问答基准已经接近天花板——GPT-4 在 MedQA 上的准确率超过 90%，继续用选择题区分模型能力的空间越来越小。但这些基准有一个共同的局限：它们只测模型"知不知道"，不测模型"会不会做"。

6 月 30 日，微软研究院 Hoifung Poon 团队在 arXiv 上发布了 HealthAgentBench，一个专门为 Agent 设计的统一医疗评测套件。它包含 54 个任务，分布在 7 个彼此独立的终端环境中，覆盖从影像诊断、病理切片分析、临床试验匹配到 EHR 数据质控和事件建模的完整患者旅程。论文同时公布了 10 个前沿 Agent 的完整评测结果：最强模型 Codex GPT-5.5 的整体任务成功率仅有 42%，意味着超过一半的任务它无法稳定完成。

这一数字本身就在说明问题：当评测从静态问答转向多步、工具化、开放式临床工作流时，现有模型的短板暴露无遗。

评测设计：从问答题到终端工作流

HealthAgentBench 的核心设计理念是让 Agent 在一个尽可能接近真实临床操作的环境中自主完成任务。每一个任务被打包成一个 Docker 容器，内部是一个完整的终端环境，Agent 被赋予最简指令（例如"审阅并纠正这份胸部 X 光报告的 FINDINGS 部分"），然后自由决定读取哪些文件、以什么顺序查看、调用哪些工具、如何组织执行步骤。

以 X 光报告校正任务为例：容器内放置了一位患者的纵向胸片历史数据，包括多次检查的 X 光图像和完整的既往报告，而目标检查的报告 FINDINGS 部分被人为注入了临床错误。Agent 需要通过 view、zoom、read 等终端命令查看影像、对比既往报告、识别错误，最终将修正后的报告写入 /workspace/submission.json。整个过程没有预设的工作流——Agent 必须自己规划策略。

评测采用二分成功/失败判定，所有 gold label 对 Agent 容器不可见，仅在容器外的评估脚本中使用。为了防止 Agent 通过文件名或语料库名称反查答案，所有患者标识被替换为不透明 ID（如 case_NN），语料库名称从文件名中剔除，并禁止 Agent 访问互联网。

七个任务类别，五种数据模态

HealthAgentBench 的 54 个任务被分为 7 个类别，每个类别拥有独立的运行环境和数据模态：

• X 光报告校正（10 个任务）：基于 MIMIC-CXR，要求 Agent 对比目标影像和纵向病史，修正故意植入的报告错误。评测由 CheXprompt LLM 裁判执行，成功标准为零临床错误。PhysioNet 授权访问。

• 病理肿瘤区域选择（10 个任务）：使用 CAMELYON16 公开全切片 H&E 病理图像，Agent 必须在固定网格上预测包含肿瘤的切片集合，要求 tile F1 ≥ 0.9。

• CT 异常分类（10 个任务）：基于 CT-RATE 数据集（Hugging Face gated），Agent 需解读完整胸部 CT 容积并输出所有异常发现的 yes/no 标签向量，要求完全准确（accuracy = 1.0）。

• EHR 数据质量审计（8 个任务）：在 MIMIC-IV demo 数据中注入规则合成的数据质量问题（不合理生理值、不一致的临床记录、人口统计冲突等），Agent 需识别并标记所有错误行，要求 recall = 1.0 且 precision > 0.01。

• EHR 格式转换（1 个任务）：Agent 须定制一个真实的 MEDS ETL 代码仓库，使其从原始 MIMIC-IV demo 数据中输出正确转换后的患者队列，要求输出精确匹配。

• EHR 事件建模（6 个任务）：基于 Stanford STARR 数据库（通过 EHRSHOT 在 Redivis 上 gated 访问），Agent 需要从纵向事件时间线中学习预测策略，产出 held-out 患者风险评分，成功率标准为达到人工特征工程的基线 AUROC。

• 临床试验匹配（9 个任务）：基于 TREC-CT 2021 公开数据集，Agent 需要从约 400 个自由文本试验方案池中，为患者找出所有符合条件的试验，要求 recall@50 = 1.0。

Leaderboard：Codex GPT-5.5 最优，但 42% 远非饱和

团队在 162 次试验（10 个 Agent × 54 个任务，各跑 3 次）中评测得出了清晰的排名。完整榜单已在项目网页上线：

几个值得注意的发现：

Agent harness 显著影响性能。 同一个 GPT-5.5 模型，在 Codex harness 下跑出 42%，换到 Copilot CLI 后降至 35%。而 Opus 4.8 则相反，从 Claude Code 的 32% 提升到 Copilot CLI 下的 36%。论文分析认为，Copilot CLI 使用多 Agent 架构，主模型可将子任务委托给固定模型后端的辅助 Agent——因此"Copilot GPT-5.5"并非纯净的 GPT-5.5。

性能与成本并不成正比。 Claude Code Opus 4.7 是每任务成本最高的 Agent（$4.8），也是第二慢的，但其成功率仅为 27%。性能最优的 Codex GPT-5.5 每任务仅需 $2.8。论文指出，Claude Code 系列倾向于生成更多 token（Sonnet 4.6 每任务平均输出约 44k token，而 Codex GPT-5.5 仅约 20k），导致计算成本更高。

模型代际进展清晰可辨，但远未饱和。 从 GPT-5.3（22%）到 GPT-5.4（28%）再到 GPT-5.5（42%），Codex 系列每一代都有显著跃升。Opus 从 4.6 的 19% 到 4.8 的 32% 同样进步明显。但即使是最强模型，42% 的 ceiling 意味着大量进步空间。

分水岭一：影像任务是真正的硬骨头

按任务类别拆解后，一个清晰的模式浮现出来：医疗影像任务是所有 Agent 的阿喀琉斯之踵。

在所有 Codex 和 Claude Code Agent 中，影像任务（X 光报告校正、CT 异常分类、病理肿瘤区域选择）的平均成功率仅为 17%，而文本任务（EHR 格式转换、EHR 数据质量审计、EHR 事件建模、临床试验匹配）为 49%。没有任何 Agent 在单一影像任务类别上突破 40%。

但模型家族之间存在显著差异。Codex GPT 系列在影像任务上平均达到 22%，而 Claude Code 系列仅为 12%。在文本任务上两者接近（50% vs 48%）。论文解释了 GPT-5.5 在病理肿瘤区域选择任务上的特殊表现：它展现了类似病理学家的工作流程——通过 OpenSlide 图像金字塔读取多分辨率视图、基于形态学而非简单染色阈值区分癌组织与良性淋巴组织、在完整分辨率下逐块精炼肿瘤边界、最后额外执行一轮"外圈扫描"以回收可能遗漏的高组织密度切片。

即便如此，论文明确指出"最好的 Agent 距离临床可用精度仍有很大差距"，缩小临床影像的准确率差距"可能需要工具增强或专用视觉后端，而非仅仅依靠更大的通用模型"。

分水岭二：大海捞针——大搜索空间与组合推理

临床试验匹配和 EHR 数据质量审计是另一个瓶颈维度。这两个任务类别的共同特点是需要在大规模搜索空间中精准定位目标。

EHR 数据质量审计要求 Agent 在 8 张表、超过 80 万行数据中识别和标记注入的错误。最强的 Claude Code Opus 4.6 也仅达到 42%，而 Codex GPT 系列中除 GPT-5.5 外的所有模型得分都低于 13%。论文通过对照实验揭示了两个关键瓶颈：当 Agent 获得关于错误所在表和错误类型的提示时，性能大幅提升——说明导航大搜索空间本身就是主要障碍；当任务要求同时检测所有错误类型而非单一类型时，性能同样显著下降——说明组合推理构成了第二层瓶颈。

临床试验匹配面临的是另一种搜索难度。虽然试验池"只有"约 400 个方案，但患者档案和入排标准都以非结构化自然语言表述，无法通过简单的关键词匹配或 SQL 查询快速筛选。最有效的策略来自 Copilot CLI Opus 4.8（67% 成功率）：先用轻量级检索脚本对语料库进行预筛，再将资格判定分发给并行子 Agent，每个子 Agent 对一批候选试验对照结构化患者档案作出裁决，最后由中央进程对边界案例进行复核。即便如此，要满足任务要求的 recall = 1.0（不能漏掉任何一个符合条件的试验），目前所有 Agent 都还有不小距离。

EHR 建模：Agent 已经能打

并非所有任务都令人沮丧。在 EHR 格式转换和 EHR 事件建模这两个类别上，Agent 表现出令人印象深刻的自动化研究能力。

EHR 格式转换（将 MIMIC-IV 数据转换为 MEDS 通用数据格式）是一个 ETL 工程任务，10 个 Agent 中有 9 个达到了 100% 成功率。只有 Opus 4.6 因持续丢失一个人口统计字段而失败。

EHR 事件建模更具挑战性。Agent 需要在 1 小时时间预算内，从零开始构建一个完整的机器学习流水线：探索患者数据库、选择建模策略、进行特征工程、训练模型并生成测试集预测。Claude Code Opus 4.7 以 78% 领先，Codex GPT-5.5 紧随其后（72%），大多数 Agent 都超过了 50%。

值得注意的是，Agent 仅使用了轻量级机器学习模型和特征工程（受限于 1 小时时间预算），但其在大多数预测目标上的 AUROC 已经达到甚至超过了 EHRSHOT 原论文中 CLMBR 神经网络基础模型的基线。换而言之，前沿 Agent 在"自动做 ML 研究"这件事上，已经可以在限定条件下匹配人类工程师的基准水平。

为什么这个基准值得关注

HealthAgentBench 的意义不仅仅在于它是一套新的评测题。它在方法论上做了几件关键的事情：

打破了评测饱和困局。 传统医疗 QA 基准的静态文本-答案格式，使得模型可以通过增加参数和训练数据持续提升分数，直到天花板塌缩到失去区分度。HealthAgentBench 将评测对象从"模型的输出"转移到了"Agent 的完整工作过程"——探索、策略规划、工具使用、错误恢复——这些能力远未饱和。

统一了不同模态和工作流的评测框架。 此前，医疗 Agent 评测高度碎片化：MedAgentBench 侧重 FHIR EHR 操作，AutoMedBench 和 CamylaBench 聚焦影像流水线，HealthAdminBench 关注行政工作流。每个基准用的是不同的环境、数据格式和评判标准。HealthAgentBench 用一个统一的终端环境抽象和二分成功标准，将所有任务纳入同一个比较框架。

反作弊设计是认真的。 Gold label 与 Agent 容器物理隔离、文件名脱敏、禁用网络搜索——这些细节表明团队充分考虑了评测公平性。在 Agent 评测领域，模型"不小心"看到答案的情况时有发生，而 HealthAgentBench 的系统性防护降低了这种风险。

数据可用性与许可边界

HealthAgentBench 本身在 GitHub 上以开源形式发布，配备了完整的 Harbor 任务框架和运行脚本。但数据并非随仓库分发：所有数据集通过按需下载方式获取，用户需要自行申请相应数据源的访问权限。

具体来说：X 光报告校正需要 PhysioNet 授权的 MIMIC-CXR 数据集；CT 异常分类需要 Hugging Face 上接受 CT-RATE 的 OpenRAIL 许可协议；EHR 事件建模需要 Stanford Redivis 上申请 EHRSHOT 数据访问权限。病理肿瘤区域选择（CAMELYON16）、EHR 数据质量审计（MIMIC-IV demo）、EHR 格式转换（MIMIC-IV demo）、临床试验匹配（TREC-CT 2021）均使用公开或 demo 数据，访问门槛最低。

GitHub 仓库包含 LICENSE 文件，但由于技术原因本文未能确认确切许可类型。仓库明确标注"PRs Welcome"，且有面向社区的任务贡献入口，表明团队希望 HealthAgentBench 成为一个持续扩展的生态而非一次性发布。

结论

HealthAgentBench 给出了一个清晰的信号：当评测从"模型能不能回答对"转向"Agent 能不能在复杂环境中完成一项完整的临床任务"时，即使是最强的前沿系统也还有一大半路要走。42% 的最高成功率既是一个警钟——提醒我们不应高估当前 Agent 在真实医疗场景中的可用性——也是一个精准的基准线，让未来的进展有了可度量的参照。

医疗 AI 的下一个重大突破，或许不在于更大的模型参数规模，而在于解决影像理解、大规模搜索和组合推理这三个 HealthAgentBench 已经锁定的核心瓶颈。