据报 Google 重组 AI 编程团队,将改进重点扩展到模型训练 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

据报 Google 重组 AI 编程团队,将改进重点扩展到模型训练

2026-06-30 / 共 2,873 字

据 The Information 等媒体报道,Google DeepMind 在 6 月下旬调整了成立约两个月的 AI 编程团队,将工作范围从编程工具和 Agent 扩展到「中训练」(midtraining)。这一阶段通常安排在大规模预训练与后训练之间,用更有针对性的数据继续训练模型。

这次调整说明,Google 正把提高编程能力的工作延伸到训练流程。它是否能缩小 Gemini 与 Claude 在复杂编程任务上的差距,还需要后续模型和产品的测试结果。

成立约两个月,编程团队把任务扩展到模型训练

据报道,Google 今年 4 月组建了 AI Coding Strike Team,由此前负责 Gemini 预训练的 DeepMind 研究工程师 Sebastian Borgeaud 领导,Google 联合创始人 Sergey Brin 和 DeepMind CTO Koray Kavukcuoglu 直接参与。团队希望改善 Gemini 处理复杂、长时间运行编程任务的能力,追赶 Claude。

到 6 月下旬,The Information 和 Neowin 相继报道该团队正在调整工作范围。Neowin 援引内部信息称,团队将更关注模型在预训练之后如何继续学习编程数据,而不只改进提示、界面或 Agent 工具。

Google 管理层也希望提高内部编程的自动化程度。CFO Anat Ashkenazi 此前称,AI 撰写了 Google 约 50% 的代码;Anthropic 则曾给出接近 100% 的说法。两家公司披露的范围和时间并不完全相同,但都在强调 AI 参与开发的重要性。Brin 在内部备忘录中写道:「要赢下最后的冲刺,我们必须紧急弥合 Agent 执行能力的差距,让我们的模型成为最终代码的主要开发者。」AI Weekly

报道还提到,部分 DeepMind 员工担心公司缺乏清晰的 AI 编程产品策略,而 Anthropic 和 OpenAI 已在这一领域形成较强竞争力。

中训练如何帮助模型学习代码和推理方式?

大语言模型通常先进行预训练,再进行后训练。预训练让模型从大量多样化文本中学习预测下一个 token;后训练则通过监督微调、RLHF 等方法,改善遵循指令、推理和回答问题的能力。

中训练位于两者之间,常将精选代码、数学推导或指令化示例与通用数据混合,使模型逐步适应后续任务。中训练和后训练都会更新模型权重,区别主要在数据、训练目标与所处阶段。

2025 年的论文 arXiv:2510.14865 通过受控实验发现,在代码、数学等与通用预训练数据差异较大的领域,混合数据的中训练可以改善后续训练的起点,并缓解遗忘。Meta AI 则提出「thinking mid-training」:在预训练文本中插入推理步骤,再进行监督微调(SFT)和强化学习(RL)。其 Llama-3-8B 实验中,完整流程配合后训练 RL,在一组推理基准上的平均准确率约为直接对基础模型做 RL 后训练的 3.2 倍。Meta RAM

Meta 团队还观察到,中训练带来的收益可以延续到后训练:提前学习过推理步骤的模型,之后接受 RL 训练时也取得了更好的成绩。研究者据此提出,较早引入推理行为可能有益。这为训练流程提供了一种实验方向,是否适用于 Google 的编程任务,仍需单独验证。

编程榜单有差距,但分数无法解释训练原因

公开成绩中,SWE-bench Verified 使用真实 GitHub issue 测试代码修改能力。Claude Opus 4.8 公布的分数为 88.6%,Claude Fable 5 在暂停通用可用性前曾公布 95%;较早的 Gemini 2.5 Pro 为 63.8%。这些数字来自不同代际、不同测试配置,适合了解历史表现,不能当作最新模型在相同条件下的直接对照。

在 SWE-bench Pro 私有测试集的榜单中,Claude Opus 4.6(thinking)为 47.1%,Gemini 3.1 Pro(thinking)为 32.2%。这是另一套任务与测试口径,应与 Verified 的成绩分开看。

编程成绩同时受基础模型、训练数据、后训练和执行工具影响。榜单能显示参测系统解决了多少问题,却无法单独判断差距产生在哪个训练阶段。Google 增加中训练投入,是在尝试其中一条改进路径。

多名研究者离开,Google 还需兼顾产品与长期研究

编程团队调整的同时,DeepMind 也出现了多起人员变动。TechTimes 汇总了 2 月到 6 月间流向 Meta、OpenAI 和 Anthropic 的研究者:TechTimes

  • Denny Zhou(推理团队创始人)→ Meta Superintelligence Lab。据报道,他在 Google 工作八年,参与开发 Chain-of-Thought、Self-Consistency 和 Least-to-Most Prompting 等广泛使用的推理方法;论文被引超过 12.8 万次,曾被称为「推理之王」。
  • Noam Shazeer(Gemini 联合负责人、Transformer 论文合作者)→ OpenAI。Google 曾在 2024 年通过据报约 27 亿美元的 Character.AI 授权与人才安排,让他回归;不到两年后,他再次离开。
  • John Jumper(AlphaFold 诺贝尔奖得主、DeepMind VP)、Jonas Adler(AI 编码负责人)、Alexander Pritzel(预训练工程师)→ Anthropic。

TechTimes 将部分人员变动与科研资源分配联系起来:公司加大编程投入,可能与一些研究者重视的长线 AGI 和世界模型研究形成竞争。这是报道提出的解释,各人的离职动机仍有差别。

SignalFire 的 2025 年人才报告显示,DeepMind 与 Anthropic 之间的工程师流动人数比接近 11:1,方向偏向 Anthropic;在该报告比较的实验室中,Anthropic 的两年留存率最高。人才竞争的压力,在此次团队调整之前就已出现。

模型竞争,也在比较数据与训练阶段如何衔接

Google 把编程团队的工作扩展到中训练,也提出了一个更普遍的问题:不同阶段该用什么数据、投入多少计算,才能让后续训练更有效?

预训练、中训练和后训练各有侧重,又会相互影响。Meta 的实验与有关数据分布衔接的研究表明,改进训练顺序和数据混合方式,也可能带来收益。模型开发者需要在扩大规模之外,继续比较这些具体选择。

从 Claude 3.5 Sonnet 开始,Claude 的编程能力持续受到开发者关注。外界常从后训练方法、代码数据或产品工具来解释其表现,中训练也可以列入待研究的因素。但 Anthropic 没有公开足够细节,无法据此认定它已在这一阶段建立先发优势。

因此,更有价值的后续观察是:Google 调整后的训练流程是否带来可重复的编程提升,以及这些提升能否延伸到真实开发任务。

新训练方案何时进入 Gemini 产品,仍没有时间表

公开报道尚未给出重组团队推出新 Gemini 模型或开发者产品的明确时间表,也没有披露足以复现的中训练方案。The Information 还提到,团队工作涉及 Google 自有代码库的训练数据,这可能让成果的公开发布更加复杂。有关技术效果和产品计划,目前仍需等待公司进一步说明。

来源

  • Google reshuffles its AI coding team as it struggles to catch Anthropic · Neowin
  • Google DeepMind's Coding Pivot Lost Six Researchers to Meta, OpenAI, and Anthropic · TechTimes
  • Google Revamps AI Coding Strike Team to Close Gap With Anthropic · AI Weekly
  • Midtraining Bridges Pretraining and Posttraining Distributions · arXiv
  • Thinking Mid-training: Reinforcement Learning of Interleaved Reasoning · Meta AI (RAM)
  • Google Revamps New AI Coding Strike Team Amid Struggle to Catch Up With Anthropic · The Information

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Google DeepMind CEO Demis Hassabis 与研究员 John Jumper 站在螺旋楼梯上

    DeepMind 扩大编程研发投入,多名研究者转投 Meta、OpenAI 和 Anthropic

    2026-06-29

  • Google DeepMind AI 研究实验室的艺术概念图

    DeepMind 加强编程研发之际,多名研究者转投 Meta、OpenAI 与 Anthropic

    2026-06-29

  • Google 与 Microsoft 联手对抗 Anthropic-OpenAI 双寡头:AI 编程工具市场的新合纵连横

    Google 和微软加码 AI 编程工具,分别扩展 Antigravity 与 Copilot

    2026-06-20

  • Google DeepMind 在伦敦国王十字车站旁的新总部 Platform 37 大楼,DeepMind AI 研究团队的核心办公地
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

Gemini 3.5 Pro 延期,DeepMind 员工向媒体谈士气与协作问题

2026-07-25

  • Anthropic 哲学家 Amanda Askell 接受采访,讨论 AI 意识与 Claude 的对齐问题

    AI 实验室招聘哲学家,参与模型行为规范与伦理研究

    2026-06-29

  • Gemini 3.5 Pro 发布延期专题封面,画面显示 Gemini 3.5 Pro 与 Coming next month 字样

    谷歌 Gemini 3.5 Pro 据报延期,编码表现尚未达到内部目标

    2026-07-20