数据标注公司开始招专家、搭训练环境,AI 反馈改变了哪些工作 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

数据标注公司开始招专家、搭训练环境,AI 反馈改变了哪些工作

2026-06-20 / 共 5,651 字

标注公司开始提供专家反馈与训练环境

AI 数据供应商正在拓展工作范围。画框、分类、转写等任务,可以部分采用模型预标注;复杂的人类偏好数据,则需要更细致的专业判断。与此同时,RLAIF(从 AI 反馈中强化学习)让模型参与生成训练标签。对供应商来说,新业务既包括招募专家,也包括设计任务环境、审核自动反馈和维护评估标准。

Turing 希望从标注供应商转向研究合作伙伴

“数据标注公司的时代已经结束了。”Turing CEO Jonathan Siddharth 在 2025 年 12 月的访谈中如此描述公司转型。Turing 在当年的一轮融资中估值达到 22 亿美元,并据报实现约 3 亿美元年化营收,客户包括多家前沿实验室。Siddharth 所强调的变化,是基础预标注逐步自动化后,供应商需要承担更复杂的工作;这也是他对公司业务方向的判断。

「数据需求已经发生了根本性变化,」Siddharth 解释道,「现在需要的是真实世界数据,触及真实人类如何做知识工作的数据。前沿实验室需要的不是标注供应商,而是能充当『主动研究伙伴』的公司。」他提出一个新概念:研究加速器(research accelerator)——AI 训练公司应当构建强化学习环境,模拟跨行业的人类工作流程,并为此招募各领域的专家。

数据服务商 Kili Technology 也在其企业指南中强调专家参与和数据质量,列出包括 RLHF、RLAIF 在内的多种方法。数据服务的价值,最终需要放到模型训练中检验,并与架构、训练方法和计算投入配合。

市场规模预测差异很大,工具与服务需要分开看

不同研究机构都预测数据标注需求增长,但对服务、软件工具和 AI 反馈平台的统计边界并不一致。

据 Mordor Intelligence 的估计,2026 年全球 AI 数据标注市场约为 23.2 亿美元,并以约 22.95% 的年复合增速达到 2031 年的 65.3 亿美元。Coherent Market Insights 给出的估计为 2026 年 63 亿美元、2033 年 380.5 亿美元,年复合增速 29.3%;Precedence Research 对 2026 年的估计则为 28.3 亿美元。几家机构的统计范围和增长假设不同,因此给出的市场规模也有明显差异。

RLHF 平台是其中一个细分方向,为偏好标注和反馈提供工具。Lemon.io 引用的行业预测认为,这一市场可能从 2025 年的 28 亿美元增至 2034 年的 186 亿美元。这也是预测口径,其范围可能与其他数据标注市场统计重叠。

需求变化主要来自两方面:复杂任务增加了对专业反馈的需求,模型预标注则减少部分重复操作。Lightly AI 的行业文章据此认为,服务商需要更关注数据质量。对客户来说,规模和质量都需要衡量,尤其要看每轮反馈是否改善了实际任务表现。

xAI、Surge 和 Mercor 更重视专业评审者

HeroHunt.ai 的行业分析观察到,部分前沿实验室正在增加对领域专家的需求。与图像画框、简单分类相比,这些任务需要标注者解释判断依据,识别专业错误,并在多个合理答案之间作出有标准的比较。

xAI 的人员调整提供了一个例子。据报道,公司在 2023–2024 年建立了约 1500 人的全职数据标注团队,称为「AI 导师」。2025 年 9 月,xAI 裁撤约 500 名通用导师,约占该团队的三分之一,同时宣布计划把专家导师团队扩大到原来的 10 倍。公司明确表示,优先招聘工程、医学、金融等领域的专业人士,而非大量通用标注员。

xAI 的调整显示,某些岗位的筛选正在从完成通用任务,转向能否提供特定领域的判断。但一家公司的岗位变化,还不足以代表整个标注行业的就业方向。

Surge AI 也强调人员筛选与反馈质量。媒体报道,这家成立于 2020 年的公司在 2024 年收入已达约 10 亿美元量级;路透社在 2025 年 7 月称,它正寻求最高 10 亿美元融资。其标注网络据报包括语言学家、作家和领域专家。网络人数和任务薪酬会随项目变化,客户更需要考察具体团队的资格、反馈一致性和保密安排。

Mercor 则为 AI 实验室按任务匹配博士、律师和科学家,2025 年 10 月以 100 亿美元估值完成融资。Micro1 使用 AI 招聘代理 Zara 辅助寻找和评估候选人,并称可较快组建专家团队。招聘工具可以扩大筛选范围,专业能力仍需要通过任务测试和后续审核确认。

Meta 入股 Scale,客户重新评估供应商独立性

2025 年年中,Meta 以超过 140 亿美元取得 Scale AI 49% 的无投票权少数股权,交易对应估值超过 290 亿美元,Alexandr Wang 随后加入 Meta。Scale 原本为多家 AI 实验室提供数据服务;据报道,部分客户担心项目信息和供应商独立性,开始调整合作。Scale 表示仍将独立运营,业务不与 Meta 合并。

HeroHunt.ai 的分析将此事视为外包采购需要考虑的风险:供应商股权变化,可能影响客户对信息隔离的信心。实验室可以保留关键任务的内部能力,也可以在多个供应商之间分配项目。独立服务商则把中立性作为卖点,但仍需要用权限、合同和审计措施证明。

RLAIF 扩大反馈规模,效果仍要由独立评估检验

除了更换参与人员,企业也在尝试让 AI 承担部分评分工作。RLAIF 就是其中一条技术路径。

收集高质量人类偏好标签需要时间、培训和审核。RLAIF 使用现成语言模型生成偏好数据,减少部分人工标注工作。发表于 ICML 2024 的 RLAIF 与 RLHF 比较研究,在摘要和对话任务上观察到两者效果相近;在人工评审中,两种方法相对监督微调基线的胜率约为 60%–70%。结果也取决于任务、标签生成方式和评审模型。

ABAKA AI 等服务商将扩展性和成本视为 RLAIF 的优势。但对高度主观、安全敏感或涉及文化语境的任务,自动评分仍可能出现系统性偏差。人类可以参与定义标准、校准关键样本和评估模型结果,具体自动化比例需要按任务确定。

Kili Technology 的指南同时讨论预标注、程序化标注、主动学习、持续监控和多阶段审核等方法。在实践中,企业可以将工作分为三层:

  • 初步处理:AI 预标注与自动质量检查,承担可标准化的重复任务
  • 人工审核:受训标注员检查 AI 建议,纠正错误并处理边缘案例
  • 专家评估:医生、律师、工程师等处理专业争议,设计评分标准和复杂任务

合成数据增多后,如何保留训练数据的多样性

数据质量还涉及递归训练中的“模型崩塌”:模型反复学习此前模型生成的数据,可能逐渐丢失分布中的少见模式。一篇发表于 Communications of the ACM 博客的文章对网络合成内容积累表达了担忧。作者担心,未经充分筛选的合成内容会影响后续模型训练。

Ahrefs 在 2025 年 4 月抽取 90 万个新发现的英文网页,每个域名选一页,其自研检测器将约 74.2% 判为包含部分或全部 AI 内容。这是特定样本和检测方法的结果,未统计哪些页面进入了模型训练。Epoch AI 曾预测,按既有扩展趋势,高质量人类文本的可用存量可能在 2026–2032 年间形成约束;实际时间也受数据复用、合成方法与训练效率影响。

2026 年 5 月,伦敦国王学院等机构的研究讨论了一类称为“指数族”的统计模型。作者证明,在其假设下,每一轮闭环重训都引入至少一个来自真实分布的数据点,或使用特定先验与正则化方法,可以避免相应的模型崩塌。这是有明确模型和训练条件的理论结果,对大型语言模型仍需要进一步验证。

这类研究说明,数据来源、分布和训练方式都值得检查。专家反馈可以帮助补充稀缺场景、发现错误和设计新的测试;真实数据采集、独立评估和训练方法调整,也都是保持模型质量的重要手段。

三项工作正在增加:审核、专业判断与数据质量管理

公司动态和技术研究显示,数据供应商正在增加以下三类工作:

第一,审核与编辑。 模型可先处理部分基础任务,人员再检查标签、修订内容和处理例外。这减少重复操作,也要求审核者能够发现模型容易遗漏的错误。岗位数量和能力要求会随任务类型变化。

第二,人类专家与 AI 评审协作。 专家设计任务和标准,模型生成部分标签,审核人员反馈问题。流程能否可靠运行,取决于各环节能否发现彼此的偏差,而非参与者更多就自然更稳定。

第三,数据质量与独立评估。 Stanford HAI 的 AI Index 报告追踪了多个公开基准的进展。分数之外,数据与架构各带来多少改进,仍需要具体实验来区分。供应商需要用独立任务检验数据价值,结合覆盖度、一致性与实际效果,而不是只比较标签数量。

标注公司的新业务,是帮助客户发现模型还不会做什么

AI 数据产业正在扩大对专业反馈和自动化工具的使用。标准化标注仍有需求,一些工作从直接生产标签转向审核和编辑;复杂任务则要求人员提供更深入的判断。这些变化给服务商带来新业务,也使部分从业者面临转岗和培训压力。

Turing 所说的“研究合作伙伴”,需要帮助客户发现能力缺口、设计有效任务,并验证数据是否改善模型。RLAIF 扩大反馈生产能力之后,评分标准、争议处理和独立检验反而更需要明确负责人。

服务商的竞争因此更具体:能否找到合适的专家,能否把专业知识转成有效任务,以及能否证明交付的数据帮助客户解决了真实问题。

来源

  • Turing 融资公告
  • Scale 关于独立运营的说明
  • RLAIF 与 RLHF 比较论文
  • Ahrefs 英文网页抽样研究
  • 国王学院:指数族模型闭环重训论文
  1. Business Insider, "'The era of data-labeling companies is over,' says the CEO of a $2.2 billion AI training firm" (2025-12), https://www.businessinsider.com/data-labeling-ai-training-contractors-turing-jonathan-siddharth-specialist-research-2025-12
  2. HeroHunt.ai, "The Changing Landscape of AI Data Labeling Hiring (2026)," https://www.herohunt.ai/blog/the-changing-landscape-of-ai-data-labeling-hiring-2026
  3. Kili Technology, "2026 Data Labeling Guide for Enterprises," https://kili-technology.com/blog/2026-data-labeling-guide-for-enterprises-build-high-performing-ai-with-expert-data
  4. Mordor Intelligence, "AI Data Labeling Market Size & Share Analysis (2026-2031)," https://www.mordorintelligence.com/industry-reports/ai-data-labeling-market
  5. Coherent Market Insights, "Data Labeling Market Trends (2026-2033)," https://www.coherentmarketinsights.com/industry-reports/data-labeling-market
  6. Precedence Research, "AI Data Labeling Market Size to Hit USD 18.23 Billion by 2035," https://www.precedenceresearch.com/ai-data-labeling-market
  7. Lemon.io, "RLHF Platforms: Inside the AI Data Annotation and Labeling Market," https://lemon.io/blog/rlhf-platforms
  8. Lightly AI, "5 Best Data Annotation Companies in 2026," https://www.lightly.ai/blog/best-data-annotation-companies
  9. Reuters, "Surge AI seeks up to $1 billion capital raise" (2025-07-01), https://www.reuters.com/business/scale-ais-bigger-rival-surge-ai-seeks-up-1-billion-capital-raise-sources-say-2025-07-01
  10. Stanford HAI, "Inside the AI Index: 12 Takeaways from the 2026 Report," https://hai.stanford.edu/news/inside-the-ai-index-12-takeaways-from-the-2026-report
  11. AI Buzz, "AI Model Collapse & Data Poisoning: 2026 Risk Guide," https://aibuzz.blog/ai-model-collapse-data-poisoning
  12. ACM, "Model Collapse Is Already Happening, We Just Pretend It Isn't" (2026-02), https://cacm.acm.org/blogcacm/model-collapse-is-already-happening-we-just-pretend-it-isnt
  13. Abaka AI, "Is RLHF Dead? Why AI Companies Are Moving Toward RLAIF," https://www.abaka.ai/blog/rlhf-vs-rlaif-ai-alignment
  14. Humans in the Loop, "Data Annotation Trends 2026: Forecast & Best Practice," https://humansintheloop.org/data-annotation-trends-2026-forecast-best-practices

评论

登录后即可参与评论。

加载评论中…

相关文章

  • 数据标注岗位正在变:AI 做初筛,专家判断更复杂的问题

    数据标注岗位正在变:AI 做初筛,专家判断更复杂的问题

    2026-06-20

  • Meta 入股 Scale 一年后,训练数据供应商争抢专家和 Agent 训练订单

    Meta 入股 Scale 一年后,训练数据供应商争抢专家和 Agent 训练订单

    2026-06-20

  • 国际劳工组织通过平台劳动公约,涵盖数据标注与内容审核

    国际劳工组织通过平台劳动公约,涵盖数据标注与内容审核

    2026-06-20

  • 佩戴沉浸式设备的年轻人置身数字环境,象征 AI 正在重塑年轻人的入门级工作机会
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

斯坦福与 ADP 追踪年轻人就业,部分易受 AI 影响职业持续收缩

2026-06-27

  • METR 在 NanoGPT 优化实验中比较累计支出、累计提速和支出翻倍带来的新增收益

    递归自我改进(RSI):模型变强,研发为何未必持续加速

    2026-09-08

  • Mercor 为 AI 训练项目寻找专家,估值达到 100 亿美元

    2026-06-16