Turing 于 8 月 5 日发布 CompanyBench，用一家真实公司的运营数据测试 AI Agent，材料包括数百张数据库表、大量文件、数百万条 Slack 消息和 Jira 工单。它的任务是完成这家公司员工曾经做过的实际工作：从分析师每天的查询到高管层的跨月战略项目。64 个任务，每个跑 10 遍。
受测模型中，GPT-5.5 的完成率最高，为 44.4%。Claude Opus 4.8 是 35.9%，Gemini 3.1 Pro 是 18.3%。
CompanyBench 关注模型能否完成企业工作流程，包括查找上下文、分析数据和执行最后的交付操作。它提供了一种补充现有能力测试的评估方式。
任务取自一家金融科技公司的五年运营记录
过去两年，Agent benchmark 经历了一场信任危机。2026 年 4 月，UC Berkeley 的研究者证明 8 个主流 Agent benchmark——包括 SWE-bench、WebArena、OSWorld、GAIA——全都可以通过 reward-hacking 打到接近 100% 的分数，不需要真正解决任何一个任务。SWE-bench Verified 的顶尖模型已经冲到 93.9%，但 SWE-bench Pro（更接近真实工程场景的版本）中顶尖模型的成绩则为 69.2%。OpenAI 在 2026 年 2 月的审计中发现，所审计的 SWE-bench Verified 难题中，59.4% 的问题存在测试设计或题目描述缺陷，可能拒绝功能正确的解答。
这些差异提示，评测成绩与任务设计有关。CompanyBench 从一家公司的历史记录中提取真实发生过的工作，保留任务所需的上下文：数据仓库、政策文档、Slack 沟通记录、Jira 工单和客服系统。
这家公司是一家金融科技企业。Turing 获取了其五年运营周期内的所有数据，个人身份信息（PII）已清洗：1.48 亿行的生产数据库、数万份文件、数以百万计的 Slack 消息和 Jira 工单。模型的输出也不是选择题或单元测试——它必须真的把分析结果发到 Slack 频道，或在 Jira 里建一张工单。
模型常漏读文档、误加过滤条件或遗漏交付操作
64 个任务各跑 10 次，总计 640 次测试。GPT-5.5 在 44.4% 的测试中完成了所有要求动作。Claude Opus 4.8 为 35.9%。这个差距本身不奇怪——GPT-5.5 在多个 Agent benchmark 上略领先于 Opus 4.8。Gemini 3.1 Pro 的完成率为 18.3%；Gemini 3.5 Flash 几乎从未完成需要写入 Slack 或 Jira 的任务。
分析失败过程，可以进一步看出模型在哪些环节出错。Turing 团队在所有模型运行中都观察到了相同的失败类型：
不读文档。 模型不去 Slack 或 Confluence 里搜索和阅读正确的文档，而是直接猜测该查哪些表、哪些列、用什么分析逻辑。如果猜错表结构或分析口径，后续查询即使执行成功，也可能得到错误结果。
追逐不存在的文档。 当一个值无法立刻找到时，模型会过度消耗搜索预算，去寻找一份压根不存在的权威文档，最终带着空结果或猜测答案终止。
擅自加过滤条件。 模型会"改进"一个刻意简单的 SQL 查询，加上一些看起来合理的额外过滤——转账形态约束、时间窗口锚点、状态码——这些过滤条件静默地剔除了合法数据行。SQL 跑通了，答案也出来了，但是错的。
最后一步丢失。 模型反复把算出的数字当作终点，跳过必须执行的 Slack 发布或 Jira 建单操作，即便在分析完全正确的运行中也是如此。
这四类失败说明，即使模型能够进行多步推理、撰写 SQL 和解析文档结构，也不一定能可靠地阅读指令、确认事实并完成交付。单看分析过程是否正确，可能遗漏这些问题。
跨系统企业工作，需要同时找对信息并执行任务
CompanyBench 为现有评测补充了跨系统企业任务。TAU²-bench（Sierra Research，2025 年发布；其所属 τ-bench 系列始于 2024 年，2026 年继续扩展）是当前最接近企业场景的评测之一——它模拟客服场景，要求 agent 既完成任务又遵守书面政策，并把每项任务重复运行 k 次以排除偶然成功。CompanyBench 在同一个方向上走得更远：它把"模拟环境"替换成了真实的历史数据，把"政策"替换成了散落在 Slack、Confluence 和工单系统里的日常沟通。
SWE-bench 系列集中于代码修改，OSWorld 集中于桌面 GUI 操作。CompanyBench 则测试另一类能力：在信息散落、文档不全的企业环境里，先判断任务究竟要求什么，再完成整套工作流程。
这一区分对企业 AI 部署有直接含义。一家公司不会只关心 agent 能不能写对 SQL，它会关心 agent 能不能在没人告诉它数据库结构的情况下找到正确的数据源，能不能区分一份 Slack 讨论和一份正式政策文档，能不能在没有明确的"正确输出"提示时判断任务是否真的做完了。
Turing 同时销售企业数据、评估和训练服务
CompanyBench 由商业服务供应商发布，引用结果时也需要了解其业务背景。Turing 的商业模式建立在为前沿 AI 实验室提供高质量数据、评估和训练基础设施之上。CEO Jonathan Siddharth 最近在一篇博客中写道："数据公司看不到部署，部署公司看不到数据。Turing 两者都看。"
这家 2018 年成立的公司，其客户涵盖 OpenAI、Anthropic、Meta、Google、Microsoft、Nvidia 和 Amazon 等主要 AI 实验室。Turing 在公开声明中将自己定位为"世界领先的 AGI 研究加速器"。
CompanyBench 也与 Turing 的业务相关：它展示企业 agent 可能遇到的问题，而数据与评估基础设施正是 Turing 提供的服务。这并不减损 benchmark 本身的信息价值，但读者在引用其结果时需要理解其商业语境。
单一公司的测试结果，能否推广到更多行业
CompanyBench 当前的局限性同样值得注意。首先，它只覆盖了一家金融科技公司。金融科技的工作流——查询数据库、生成报告、跨系统协调——在知识工作领域有代表性，但不能代表制造业、医疗、法律或其他垂直领域的企业场景。其次，Turing 未披露这家公司的身份，这使得独立研究者无法验证数据分布、任务难度校准或潜在的领域偏置。第三，每个任务跑 10 次的设定虽然比单次评估可靠，但 10 次仍然是一个较小样本，置信区间可能较宽。
对正在评估 AI Agent 的企业而言，这项测试提示，代码基准的高分不能直接换算成企业任务完成率。一个在 SWE-bench 上拿到 90% 的 agent，在企业环境中仍可能无法完成一半的任务；两类评测所要求的能力不同，也不能据此推算某家企业的实际部署效果。
CompanyBench 的成绩看板已经在 companybench.turing.com 上线，Turing 表示将持续评估新模型。它的长期价值将取决于能否扩展到更多行业、更多公司、更多类型的任务——以及独立研究者能否获得足够透明的数据来验证其主张。
