MedQA、MedMCQA 等医学问答基准，主要考查模型根据题目选出正确答案的能力。随着模型分数提高，研究者开始寻找更难的任务：如果给 AI 一份胸片、一组病历或一个数据库，它能否调用工具，完成检查、分析和交付？
6 月 30 日，微软研究院 Hoifung Poon 等研究者在 arXiv 上发布 HealthAgentBench 医疗 Agent 评测套件。它包含 54 个任务、7 类独立的终端环境，涵盖影像分析、临床试验匹配和电子健康记录（EHR）处理等工作。10 个参评 Agent 中，Codex GPT-5.5 的整体成功率最高，为 42%。成绩按每项任务三次尝试的结果合并计算。
从问答改为多步操作后，评测还会考验 Agent 查找文件、规划步骤和使用工具的能力。结果显示，影像分析与大规模检索仍明显拖累整体表现。
给出文件和目标，由 Agent 自行决定操作步骤
HealthAgentBench 将每个任务打包成 Docker 容器，提供终端环境和简短指令，例如“审阅并纠正这份胸部 X 光报告的 FINDINGS 部分”。Agent 自行决定读取哪些文件、以什么顺序查看、调用哪些工具，以及如何组织执行步骤。
以 X 光报告校正为例，容器内提供一位患者的纵向胸片记录，包括多次检查的图像和完整的既往报告；目标检查报告的 FINDINGS 部分则被人为注入了临床错误。Agent 需要调用工具查看、放大影像，读取并对比既往报告，最终将修正结果写入 /workspace/submission.json。评测没有预设操作流程。
每次尝试只判定成功或失败。标准答案对 Agent 容器不可见，只供独立的评估程序使用。为减少通过文件名或语料库名称反查答案的机会，患者标识被替换为不透明 ID（如 case_NN），文件名中的语料库名称被移除，Agent 的网页浏览功能也被禁用。
54 个任务覆盖影像、病历处理与临床试验匹配
54 个任务分为 7 类，涉及五种数据模态。各类任务使用独立环境，并分别设定成功条件：
X 光报告校正（10 个任务）：基于 MIMIC-CXR，要求 Agent 对照目标影像和纵向病史，修正植入的报告错误。由 CheXprompt LLM 裁判评估，成功标准为零具有临床意义的错误。数据需经 PhysioNet 授权访问。
病理肿瘤区域选择（10 个任务）：使用 CAMELYON16 公开的 H&E 染色全切片病理图像，Agent 需在固定网格上选出含肿瘤的图块，图块级 F1 须 ≥ 0.9。
CT 异常分类（10 个任务）：基于需申请访问的 CT-RATE 数据集，Agent 解读完整胸部 CT 容积，对各项异常输出 yes/no 标签，要求全部准确（accuracy = 1.0）。
EHR 数据质量审计（8 个任务）：在 MIMIC-IV demo 数据中注入规则合成的数据质量问题（不合理生理值、不一致的临床记录、人口统计冲突等），Agent 需识别并标记所有错误行，要求 recall = 1.0 且 precision > 0.01。
EHR 格式转换（1 个任务）：Agent 须定制一个真实的 MEDS ETL 代码仓库，使其从原始 MIMIC-IV demo 数据中输出正确转换后的患者队列，要求输出精确匹配。
EHR 事件建模（6 个任务）：使用源自 Stanford STARR 数据库的 EHRSHOT 数据，需通过 Redivis 申请访问。Agent 从纵向事件记录中学习预测方法，为留出的患者生成风险评分；AUROC 须达到人工设计计数特征并训练梯度提升模型的基线。
临床试验匹配（9 个任务）：基于 TREC-CT 2021 公开数据集，Agent 需要从约 400 个自由文本试验方案池中，为患者找出所有符合条件的试验，要求 recall@50 = 1.0。
Codex GPT-5.5 成功率最高，同一模型换工具也会改变成绩
每个 Agent 在 54 个任务上各运行 3 次，共 162 次尝试；10 个 Agent 合计 1620 次。成功率由各 Agent 的 162 次尝试合并计算，成本为每次尝试的平均费用。完整榜单已在项目网页上线：
| 排名 | Agent | 成功率 | 每次尝试平均成本 |
|---|---|---|---|
| 1 | Codex (GPT 5.5) | 42% | $2.8 |
| 2 | Copilot (Opus 4.8) | 36% | $3.1 |
| 3 | Copilot (GPT 5.5) | 35% | $2.6 |
| 4 | Claude Code (Opus 4.8) | 32% | $4.0 |
| 5 | Codex (GPT 5.4) | 28% | $1.3 |
| 6 | Claude Code (Opus 4.7) | 27% | $4.8 |
| 7 | Codex (GPT 5.3) | 22% | $1.0 |
| 8 | Claude Code (Opus 4.6) | 19% | $4.1 |
| 9 | Claude Code (Sonnet 4.6) | 17% | $2.9 |
| 10 | Codex (GPT 5.4 Mini) | 16% | $0.6 |
榜单还显示了三组差异：
运行工具不同，同一模型的成绩也不同。 GPT-5.5 在 Codex 中的成功率为 42%，在 Copilot CLI 中为 35%；Opus 4.8 在 Claude Code 中为 32%，在 Copilot CLI 中为 36%。论文指出，Copilot CLI 可把子任务交给使用固定模型的辅助 Agent。因此，这些成绩比较的是模型与工具组成的系统，不能把差异全部归于主模型。
花费更高未必完成得更好。 Claude Code Opus 4.7 平均每次尝试花费最高，为 $4.8，也是第二慢的系统，成功率为 27%。成绩最高的 Codex GPT-5.5 平均花费 $2.8。论文记录到，Claude Code 系列往往输出更多 token：Sonnet 4.6 每次尝试平均约 44k，Codex GPT-5.5 约 20k，这也是成本差异的一项因素。
较新的模型取得了更高分。 在 Codex 中，GPT-5.3、GPT-5.4、GPT-5.5 的成功率依次为 22%、28%、42%；在 Claude Code 中，Opus 4.6 到 4.8 则从 19% 升至 32%。目前最高的 42% 是这次测试的结果，并非基准的能力上限。
影像任务平均成功率仅 17%，明显低于文本任务
影像与文本任务之间的差距，比整体排名更能说明 Agent 在哪些工作上容易失败。
在所有 Codex 和 Claude Code Agent 中，影像任务（X 光报告校正、CT 异常分类、病理肿瘤区域选择）的平均成功率仅为 17%，而文本任务（EHR 格式转换、EHR 数据质量审计、EHR 事件建模、临床试验匹配）为 49%。没有任何 Agent 在单一影像任务类别上突破 40%。
两组系统的影像成绩也有差异：Codex GPT 系列平均为 22%，Claude Code 系列为 12%，而文本任务接近，为 50% 和 48%。在一个成功完成的病理任务中，Codex GPT-5.5 使用了类似病理阅片的流程：通过 OpenSlide 图像金字塔读取多种分辨率视图，根据形态区分癌组织与良性淋巴组织，在完整分辨率下逐块修正肿瘤边界，最后额外执行一轮“外圈扫描”，检查可能遗漏的高组织密度图块。
即便如此，论文明确指出"最好的 Agent 距离临床可用精度仍有很大差距"，缩小临床影像的准确率差距"可能需要工具增强或专用视觉后端，而非仅仅依靠更大的通用模型"。
病历查错与试验匹配，难在完整检索和综合判断
临床试验匹配和 EHR 数据质量审计都要求 Agent 从大量候选内容中找全目标，只找到一部分还不足以通过测试。
EHR 数据质量审计涉及 8 张表、超过 80 万行数据。Claude Code Opus 4.6 得分最高，为 42%；Codex GPT 系列除 GPT-5.5 外，均低于 13%。对照测试中，提示错误所在表和错误类型可以提高成绩；同时查找所有错误类型，则比只查单一类型更难。这说明搜索范围与多种规则的综合处理，都会影响完成任务的能力。
临床试验匹配要从约 400 个方案中筛选结果。患者档案与入排标准都用自然语言表述，仅靠关键词或 SQL 查询难以完成资格判断。Copilot CLI Opus 4.8 的成功率最高，为 67%。论文分析的流程是：先用轻量检索脚本预筛，再由并行子 Agent 按结构化患者档案逐批判断候选方案，最后集中复核边界案例。任务要求 recall = 1.0，即不能漏掉任何符合条件的试验；目前尚无 Agent 能在全部尝试中达到这一标准。
格式转换多数通过，病历预测也能完成部分建模工作
EHR 格式转换和事件建模，是这次测试中 Agent 表现较好的两类任务。
格式转换只有 1 个任务：将 MIMIC-IV demo 数据转换成 MEDS 格式。10 个 Agent 中，9 个在三次尝试中全部通过，成功率为 100%；只有 Claude Code Opus 4.6 持续丢失一个人口统计字段。
EHR 事件建模更具挑战性。Agent 需要在 1 小时时间预算内，从零开始构建一个完整的机器学习流水线：探索患者数据库、选择建模策略、进行特征工程、训练模型并生成测试集预测。Claude Code Opus 4.7 以 78% 领先，Codex GPT-5.5 紧随其后（72%），大多数 Agent 都超过了 50%。
受 1 小时时间预算限制，Agent 主要采用轻量级机器学习模型和特征工程。在这组预测目标中的多数目标上，它们的 AUROC 已达到或超过 EHRSHOT 原论文中 CLMBR 神经网络基础模型的基线。这表明，Agent 能在这些限定任务中完成有用的数据探索与建模工作。
用同一框架比较多类工作，并减少接触答案的机会
除了任务难度，HealthAgentBench 的另一项工作，是将不同医疗操作放进可以共同运行和比较的框架。
增加对操作过程的考查。 医学问答通常评估一段输出是否正确。这里的结果还取决于 Agent 如何探索文件、规划策略、使用工具和从错误中恢复，最终以任务是否完成来计分。
把不同工作放到同一运行框架下。 MedAgentBench 侧重 FHIR EHR 操作，AutoMedBench 和 CamylaBench 聚焦影像流程，HealthAdminBench 关注行政工作，各自使用不同环境、数据格式和判定标准。HealthAgentBench 统一采用终端环境与成功/失败计分，便于比较不同类别的完成情况。
隔离标准答案，减少反查线索。 答案只供评估程序使用，文件名经过处理，网页浏览被禁用。这些安排降低了 Agent 意外读到答案或通过公开材料反查的风险。
代码采用 MIT 许可，部分医疗数据仍需单独申请
HealthAgentBench 在 GitHub 发布了 Harbor 任务框架与运行脚本，但数据不随仓库分发，需要按需下载。其中部分数据源要求用户自行申请权限。
具体来说：X 光报告校正需要 PhysioNet 授权的 MIMIC-CXR 数据集；CT 异常分类需要 Hugging Face 上接受 CT-RATE 的 OpenRAIL 许可协议；EHR 事件建模需要 Stanford Redivis 上申请 EHRSHOT 数据访问权限。病理肿瘤区域选择（CAMELYON16）、EHR 数据质量审计（MIMIC-IV demo）、EHR 格式转换（MIMIC-IV demo）、临床试验匹配（TREC-CT 2021）均使用公开或 demo 数据，访问门槛最低。
仓库代码采用 MIT 许可，数据使用仍需遵守各自来源的协议。项目标注“PRs Welcome”，并提供任务贡献入口，允许社区继续补充任务。
影像、检索与多条件判断，是后续改进的重点
HealthAgentBench 把医疗 AI 的评测从回答问题扩展到了完成操作。42% 的最高成功率，为后续系统提供了一个可比较的起点；格式转换、事件建模和影像分析之间的差异，也提示开发者应分任务判断能力。
影像理解、大范围检索和多条件判断，是这次测试暴露的主要困难。改善通用模型之外，专用视觉工具、检索方法和任务规划都值得继续测试。基准成绩仍不等于临床可用性，真实医疗工作还需要相应验证。
