评测要求模型读材料、做分析，再交付成果
6 月 18 日，独立 AI 评测机构 Artificial Analysis 发布了 AA-Briefcase——一个面向智能体（Agent）知识工作的评测基准。模型需要整理邮件、聊天记录和公司文件，完成分析并交付报告、表格等成果。项目背景跨越数周，但每项任务独立运行，不沿用模型此前的提交。
在发布时的结果中，Claude Fable 5 以 1587 Elo 位居综合榜首，但只有 3% 的任务通过了全部评分检查。智谱（Z.ai）的开放权重模型 GLM-5.2 以 1266 Elo 排在 OpenAI 的 GPT-5.5（xhigh）之前，每任务成本不到 Claude Opus 4.8 的四分之一。
四个项目、91 项任务，材料包含邮件和聊天记录
MMLU、GSM8K、HumanEval 等基准分别测试知识、数学和代码能力。它们能回答一些基础能力问题，却不能完整覆盖办公项目中的信息整理、工具使用和成果交付。
AA-Briefcase 由四个以多周项目为背景的知识工作场景组成，涵盖数据科学、产品管理、银行运营和重工业战略，共计 91 项任务。任务由具有 Google、McKinsey 和 BCG 等公司工作经验的专家设计，开发持续数月。
模型需要从分散的材料中查找信息：25,000 多条 Slack 消息、3,500 多封电子邮件、会议纪要、大型数据导出文件、公司文档——这些材料中充斥着现实世界特有的矛盾、歧义和噪音。任务按项目周次组织，共享业务背景，要求模型产出财务报表、董事会演示文稿和设计稿等交付物。不过，当前评测逐项独立执行，尚不直接测试连续数周积累记忆的工作过程。
评测采用复合评分体系：逐项通过或不通过的评分检查、分析质量 Elo（成对比较）和呈现质量 Elo（成对比较），三者综合为 AA-Briefcase Elo。这种设计同时捕捉了"做对了没有"和"做得好不好"两个维度。
正式题目保持私有，减少针对测试集的优化
当多数模型在同一基准上获得高分时，分数对能力差异的区分就会减弱。公开测试题还可能进入训练数据，或被用于针对性优化；不过，高分本身并不能证明发生了数据污染。
AA-Briefcase 采用以下设计，希望保留测试的区分度：
- 正式题目私有：四个计分场景的任务、输入文件和评分标准不公开，以减少污染风险
- 提供公开示例：另设一个不计入正式成绩的示例场景，便于研究者了解任务结构和评分方式
- 同时检查多项能力：完成任务需要规划、检索、推理、使用工具并整理交付物
沃顿商学院教授 Ethan Mollick 在 X 上肯定了它贴近知识工作、保留私有测试题的设计。私有题有助于降低针对性训练的风险，但不保证永远不会泄露或饱和；榜单也仍需结合任务和评分方法解读。
首轮综合榜 GLM-5.2 排第三，每任务成本约 2.40 美元
发布时的榜单同时呈现了能力和调用成本的差异。
Claude Fable 5 综合分居首。 它以 1587 Elo 排第一，领先第二名 Claude Opus 4.8（1356 Elo）超过 230 分。Fable 5 在分析质量和评分检查通过率上领先，呈现质量则有 Opus 4.8 并列领先。
GLM-5.2 在较低成本下取得较高分数。 GLM-5.2（max）以 1266 Elo 位列第三，排在 OpenAI 的 GPT-5.5（xhigh，排名第四）之前。它是智谱（Z.ai）发布的开放权重模型。在 AA-Briefcase 上，它仅落后 Claude Opus 4.8 约 90 Elo 分，但每任务成本仅为 $2.40，不到 Opus 4.8（$10.40）的 25%。
低成本模型仍有能力差距。 Artificial Analysis 将 DeepSeek V4 Pro（max）和 GLM-5.2 列为性能与价格较有吸引力的选择。DeepSeek V4 Flash（max）每任务成本约 $0.04，Fable 5 则超过 $31。评测机构报告，两者成本相差超过 800 倍，但最低成本模型尚未达到榜首的能力水平。
AA-Briefcase 发布时的部分排名与平均任务成本（按评测中的 Token 用量及模型价格计算）：
| 模型 | AA-Briefcase Elo | 每任务成本 |
|---|---|---|
| Claude Fable 5 | 1587 | $31.00+ |
| Claude Opus 4.8 (max) | 1356 | $10.40 |
| GLM-5.2 (max) | 1266 | $2.40 |
| GPT-5.5 (xhigh) | 低于 GLM-5.2 | $3.68 |
| DeepSeek V4 Flash (max) | — | $0.04 |
31 项任务中，没有模型通过一半以上的检查
综合排名之外，逐项评分显示了模型仍会遗漏哪些工作要求。
在 91 项任务中，有 31 项没有任何受测模型通过超过 50% 的检查。Claude Fable 5 虽然整体领先，但只有 3% 的任务满足全部评分条件。这个比例不意味着其余成果完全没有价值，而是说明严格验收时仍有缺项。
不同得分组的常见错误也有区别：
- 得分较低的模型：更常遗漏关键文件、提交无法使用的成果，或没有交付物
- 得分较高的模型：较常遗漏任务要求，尤其是需要合并多个来源才能发现的细节
Artificial Analysis 还发现，任务难度与所需输入文件数量高度相关。对每项评分检查，团队识别了通过所需的最小文件集合。对平均检查通过率 ≥30% 的模型，只依赖任务提示的检查通过率约为 55%；需要结合至少 5 份外部文件的检查，通过率约为 40%。这反映了跨文件整合信息的难度。
交付物评分补充基础能力测试，仍有场景限制
AA-Briefcase 为模型评测增加了一组接近办公项目的任务。
知识、推理和数学测试帮助了解基础能力，项目型评测则进一步观察这些能力如何组合起来，形成可用成果。两者可以互相补充。
随着 Claude Code、Codex CLI、Devin 等 Agent 工具进入工作流程，企业需要了解模型能否处理资料、调用工具并完成交付。项目型测试因此增加了一种选型依据。
AA-Briefcase 的几个设计特点尤其值得关注：
- 项目背景：材料按多周业务进展组织，但各任务独立运行，尚不等于连续多周自主工作
- 碎片化信息：与干净的结构化数据不同，Slack、邮件中混杂着噪音和矛盾
- 复合评分：不只看结果对不对，还看分析是否深入、呈现是否专业
- 专家构建：有相关职业经验的专家参与设计，使任务要求更贴近实际工作
选模型时，结合任务表现、成本和部署条件
对准备采用 Agent 的团队，这些结果有三项参考价值。
第一，任务表现可以补充基础能力分数。 企业可以检查交付物是否满足要求，哪些步骤需要人工复核，再判断模型适合承担多大范围的工作。
第二，开放权重模型提供了值得比较的选择。 GLM-5.2 在首轮测试中排在 GPT-5.5 之前，DeepSeek V4 Pro 也有较好的成本表现。企业仍需结合自己的任务、视觉输入需求和部署条件测试，榜单成本也不能直接视为自行部署的全部成本。
第三，多项评测能帮助识别模型差异。 Artificial Analysis 还运行 GDPval-AA、APEX-Agents-AA 等测试。比较不同任务上的结果、评分依据和失败案例，比只看一个综合名次更有助于选型。
后续要看遗漏能否减少，以及成果是否方便复核
AA-Briefcase 将模型差异具体到了信息检索、分析和交付。首轮排名显示，开放权重模型可以在这组任务中取得有竞争力的表现，同时所有受测模型都还存在遗漏。后续更有用的变化，是完整满足任务要求的比例能否提高，以及错误是否更容易被发现和复核。
