Cohere 发布 69.6 万项 MCP 工具数据,2.6% 完整匹配职业任务 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Cohere 发布 69.6 万项 MCP 工具数据,2.6% 完整匹配职业任务

2026-09-03 / 共 2,472 字

Cohere Labs

9 月 3 日,Cohere Labs 发布 Agentic Task Ecosystem(ATE),把七个公开目录里的 123,069 个 MCP server、696,291 项工具整理为可下载数据,并尝试回答一个比“模型能做什么”更靠近开发现场的问题:开发者已经把哪些工作封装成了 Agent 可以调用的工具。

最醒目的结果是 2.6%。但 ATE 没有让 Agent 逐个调用近 70 万项工具,也没有检查任务是否在真实环境中完成。它比较的是工具名称和描述与 O*NET 职业任务文本,并用模型把最近邻匹配分为 good、partial、bad。2.6% 是其中 good 标签的占比,适合用来观察公开工具供给的结构,不能直接换算成 Agent 的任务成功率、企业采用率或劳动生产率。

2.6% 来自两轮文本判断,不是 69.6 万次执行测试

ATE 的目录快照采集于 2026 年 5 月 7 日至 8 日,覆盖 MCP World、MCP Store、Glama、Smithery、官方 MCP Registry、mcp.so 和 mcp-repository。研究团队先按 server 去重,再抽取工具名称与描述。696,291 项工具中有 1,880 项被排除,进入分析的是 694,411 项。

随后,团队从 O*NET 29.2 的 18,796 条职业任务里标出 9,423 条“可由软件执行”的任务。每项工具先通过文本嵌入找到最近的一条任务,再由语言模型判断:工具能否完整执行任务,还是只提供信息、完成其中一步,或只是词面相似。

对公开 Parquet 表重新计数,结果如下:

匹配标签 工具数 占分析集比例
good:完整执行任务描述 18,058 2.600%
partial:只覆盖任务的一部分 591,826 85.227%
bad:最近邻也不构成有效匹配 84,522 12.172%

这套规则有意把门槛设得很高。例如,一个名为 get_appointments、描述为“获取患者预约”的工具,与“为患者安排预约”在文本上高度相似,但只读取已有预约,因而被标为 partial。相反,能够直接创建系统交互图的工具,会与“开发系统交互或时序图”形成 good 匹配。这里评估的是描述中承诺的动作是否覆盖 O*NET 任务,而不是工具运行后的正确性、权限条件或多步协作成本。

简单去重没有改变 2.6%,但描述质量仍决定标签上限

公开目录会收录名称和描述相同、但来自不同 server 的工具。按小写化后的工具名与完整描述做严格去重,good 组有 15,970 个不同组合,较原始 18,058 条少 11.6%;partial 和 bad 组的重复占比分别为 12.6% 和 8.9%。再以每个组合最常见的标签计数,good 占比为 2.599%。这意味着简单的精确重复没有把 2.6% 明显推高或压低。

更难处理的是语义重复和描述失真。另一个针对 103 个 MCP server、856 项工具的研究发现,97.1% 的工具描述至少存在一种信息缺陷,56% 没有清楚说明用途;补全描述后,Agent 在 MCP-Universe 上的任务成功率中位数提高 5.85 个百分点,但执行步骤也增加 67.46%。ATE 依赖开发者编写的描述,因此同一能力可能因为描述详略而得到不同标签,写得很强的承诺也可能在未执行的情况下被当作能力。

ATE 数据卡目前只说明“嵌入最近邻 + 模型判断”的流程,尚未公开具体嵌入模型、判定模型、提示词、重复标注一致性或人工抽检规模,并注明完整论文仍待发布。因而 2.6% 可以复算,却还不能被当作经过外部校准的测量尺度。

491 个职业有完整匹配,419 个“没有活动”采用更宽口径

18,058 个 good 工具覆盖 1,380 条不同任务,约占 9,423 条软件可执行任务的 14.6%,分布在 491 个职业。Cohere 博客同时写道,923 个职业中有 419 个“没有任何 Agent 工具活动”。这两个数字使用的不是同一口径。

复算数据可见,419 的统计还把没有完整任务匹配、但其工具簇能映射到职业的情况算作“有活动”。把 good 匹配覆盖的职业与工具簇映射覆盖的职业合并,并限制在 O*NET 的 923 个职业内,共有 504 个职业出现活动,余下正好是 419 个。换句话说,491 衡量“至少有一项工具被判定能完整执行一条任务”,504 衡量“完整匹配或相关工具簇至少出现一种”;报道时不能把后者解释成有端到端自动化工具。

职业覆盖也高度集中。good 工具虽然有 18,058 项,却只落到 1,380 条任务;同一种通用动作可在许多 server 中反复出现。公开表中,“读取文件内容”与殡葬行业的“阅读文件以确认逝者身份”形成 65 条同描述匹配,就是文本动作对齐、行业条件尚未验证的典型例子。

ATE 补上供给侧一环,距离真实工作仍隔着采用与执行

围绕 AI 与工作的现有研究大致测量四件不同的事:理论上可做什么、劳动者想交给 AI 什么、开发者发布了什么、现实中什么任务被稳定完成。ATE 的位置是第三项。

作为需求侧对照,Stanford 的 WORKBank 收集 1,500 名劳动者和 52 名 AI 专家的判断,覆盖 104 个职业、844 项任务;46.1% 的任务得到劳动者对自动化的积极评价,但偏好与能力并不总是重合。作为使用代理指标,另一项对 177,436 个 MCP 工具的研究发现,软件开发占工具供给的 67%、下载量的 90%;作者同时明确,下载不等于工具被实际调用。ATE 把目录覆盖扩大到约四倍,并把“只提供一步”与“完整执行”分开,却仍没有跨过部署、调用和成功完成任务这三道门槛。

这也是 ATE 最有价值的用法:它不是给“Agent 会不会取代职业”一个百分比答案,而是提供一张可查询的公开供给地图。产品团队可以据此发现哪些 O*NET 任务已有大量重复接口、哪些职业只有零散组件、哪些工具正在形成跨任务工作流;研究者则可以把它与调用日志、人工接管率、任务成功率和组织内采用数据连接起来。

使用这套数据还需注意授权边界。数据卡注明 O*NET 任务文本沿用 CC BY 4.0,但 ATE 数据集本身截至发布时尚未设置许可证。下一步真正能改变结论的,不是目录里再增加多少工具,而是公开判定方法,并补上“工具被调用后是否在明确条件下完成任务”的可复现实验。

来源

  • Automation’s Early Footprint: The ATE Dataset · Cohere Labs
  • Agentic Task Ecosystem (ATE) · Cohere Labs / Hugging Face
  • How are AI agents used? Evidence from 177,000 MCP tools · arXiv
  • Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce · arXiv
  • Model Context Protocol (MCP) Tool Descriptions Are Smelly! · arXiv
  • Indexing the Impact of AI within the O*NET System · O*NET Resource Center

评论

登录后即可参与评论。

加载评论中…

相关文章

  • HealthAgentBench 项目横幅,展示 54 个医疗任务、7 个类别、10 个前沿 Agent 以及 42% 的最高成功率等关键数字。

    微软测试医疗 AI Agent:54 个操作任务,最佳系统成功率 42%

    2026-06-30

  • 研究流程图:从 AIDev 数据集构造样本,经 GitHub 数据补充、补丁分析与 90 天合并后跟踪,进入统计检验

    3.7 万个 PR,为何仍排不出代码 Agent 质量榜

    2026-09-12

  • Earth-Agent-Pro 论文对现有遥感基准、现有 Agent 与新基准和系统的对比图

    遥感 Agent 开始自己找数据,参数准确率却止步 32.77%

    2026-09-11

  • 世界地图,显示 Terminal-Bench-Science 提案与实现作者的全球地理分布
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

斯坦福发布科研工作流基准,9 个模型中最高解决率为 30%

2026-08-28

  • OverclaimBench 的评估流程图:用工具轨迹核对文件覆盖,并把不完整回复分为披露、遗漏披露和明确过度声称

    代码 Agent 没查全文件也不说:最终回复正在成为审查盲区

    2026-09-17

  • WhatWorkedBench 流程图:Agent 在固定预算内选择实验、提交完整配置得分表,再与穷举 CPU 参考结果比较

    科研 Agent 找到最优配置后,仍可能说不清什么有效

    2026-09-23