Google 发布实验模型，在整块文本上反复修改
2026 年 6 月 10 日，Google DeepMind 发布实验模型 DiffusionGemma，采用 26B 总参数的混合专家架构，以 Apache 2.0 许可证开放权重，并获得 vLLM 支持。它以 256 个 Token 为一块，反复并行修改内容，再提交结果。Google 报告单卡 H100 生成速度超过每秒 1000 个 Token；vLLM 的低并发测试也显示了明显加速。其输出质量仍低于标准 Gemma 4，主要面向研究和速度敏感的本地应用探索。
逐个生成 Token，为何容易限制本地推理速度
主流语言模型广泛采用自回归生成：根据已有上下文预测下一个 Token，再继续向后生成。云端服务可以将多个请求组成批次，提升硬件利用率；只有少量请求的本地场景，则较难依靠这种方式分摊计算和数据传输开销。
低并发自回归解码常受内存带宽限制。 每轮生成都要读取参与计算的权重和缓存，而单个请求提供的并行工作较少，GPU 的计算单元可能无法充分利用。扩散模型尝试一次处理更多位置，提高同一轮数据读取所支持的计算量。能否提速，仍取决于模型、精度、生成长度和硬件。
另一类研究关注“反转诅咒”：模型学会某种关联后，未必能在反向提问中使用它，例如知道某人的身份，却不能由身份稳定检索回姓名。部分扩散研究在这类任务中取得更好结果，但不能据此把所有反向推理失败都归因于因果注意力。
这些工作提出了两个可检验的问题：语言生成能否采用不同于逐个预测的过程，以及这种过程能否在保留任务表现的同时更好地利用硬件。答案需要分别看训练效果和推理实现，不能只由模型名称或注意力形式推断。
文本扩散通过加噪与恢复学习生成
扩散模型已经广泛用于图像生成，典型过程是在连续表示中加入噪声，再学习逐步恢复。文本由离散 Token 组成，需要相应的加噪方式，例如把一部分位置换成掩码或随机 Token。不同方案并存，并非所有文本扩散模型都使用同一种噪声。
掩码扩散先遮住文本，再学习补全
掩码扩散（Masked Diffusion） 是其中一条常见路线。以 LLaDA 的训练方式为例：
- 前向过程：以概率 t 将 Token 替换为
[MASK]；t 越大，可见的原始内容越少。 - 学习恢复：使用双向注意力的 Transformer 预测被遮住的位置。在线性掩码调度下，训练目标包含 1/t 权重，可由生成模型的似然下界推导。
它与 BERT 都使用掩码预测，但扩散模型还明确规定了从高噪声状态逐步生成文本的过程，并将训练目标与这一过程联系起来。差别不能简单概括为“扩散负责生成、BERT 只是判别”，也不意味着目标函数本身保证更高质量。
LLaDA 验证了从头训练 8B 模型的可行性
2025 年 2 月，Nie 等人公布 LLaDA 8B，从头训练扩散语言模型。论文报告使用 2.3 万亿 Token 预训练，消耗约 13 万 H800 GPU 小时。在 MMLU（65.9 对 65.4）、TruthfulQA（46.4 对 44.0）等测试中，其基础模型与 LLaMA3 8B 表现接近；在反向诗歌补全测试中，LLaDA 高于 GPT-4o。该工作后来入选 NeurIPS 2025 口头报告。
这一实验说明，扩散方式可以训练出具有较强语言能力的模型。作者报告的训练成本与同规模、同数据量的自回归模型相近；推理能否更便宜、更快，则要看采样步骤和系统优化。
研究者尝试复用已有模型，并扩大参数规模
2025–2026 年的研究继续探索多种训练方式，包括从头训练、转换现成模型，以及按部署需求调整文本块大小。
将自回归模型转换为扩散模型
从头训练需要承担完整预训练成本。另一种方式是利用现有自回归权重，再训练其适应扩散目标和注意力模式。
DiffuLLaMA（ICLR 2025）采用持续预训练完成转换，关键调整包括：
- 注意力掩码退火（Attention Mask Annealing）：训练过程中，注意力掩码从因果（三角形）逐步过渡到完全双向，在保留预训练知识的同时改变生成范式。
- 目标函数切换：从下一 token 预测切换到掩码扩散目标。
研究使用不到 200B Token 的持续训练数据，将 LLaMA2 7B 等模型转换为扩散版本。转换后的模型可以在给定前后文的情况下补全中间内容，无需为此重新排列提示。这是能力展示，并不意味着所有转换模型都能维持原有任务表现。
Dream 7B 以 Qwen2.5 7B 权重初始化，并采用上下文自适应的 Token 级噪声重调度，让各位置的训练损失权重更贴合其实际可获得的上下文信息。论文报告，它在 Countdown 和 Sudoku 测试中优于同规模对照；在 Countdown3 等特定设置下，还高于 DeepSeek V3（671B）。这些结果需连同任务难度、示例数量和采样设置理解。
LLaDA 2.0 将总参数扩展到千亿级
2025 年 12 月公布的 LLaDA 2.0 将扩散模型总参数扩展到 100B，即千亿级。它同样从预训练自回归模型转换，采用块大小逐步变化的三阶段方案：
- 预热阶段：从小块（block）尺寸开始逐步增大，平滑过渡
- 稳定阶段：全序列扩散训练，消耗大部分计算
- 衰减阶段：回归紧凑块尺寸（如 32 token/block），优化部署效率
LLaDA 2.0 采用混合专家架构，发布了 16B 的 mini 与 100B 的 flash 两种版本。它说明稀疏激活和扩散生成可以结合；专家路由、负载均衡与推理调度仍需适应每轮处理多个位置的工作方式。
Mercury 提供商业服务，Gemini Diffusion 开放演示
- Mercury Coder（Inception Labs，2025 年 2 月）提供在线试用及企业 API 等接入。公司报告 Mini 版本在 H100 上达到每秒 1,109 个 Token。
- Gemini Diffusion（Google，2025 年 5 月）作为实验演示开放，公布的平均采样速度为每秒 1,479 个 Token，另有 0.84 秒额外开销。HumanEval 得分为 89.6%，对照 Gemini 2.0 Flash-Lite 为 90.2%；其他测试的差距并不相同。
缓存与并行解码，把潜在速度变成实测提升
并行处理多个位置带来了加速空间，但早期 LLaDA、Dream 实现并不总比自回归模型快。多次去噪、缓存复用和并行预测时的质量变化，都需要专门处理。
缓存已处理的文本，减少重复计算
在普通自回归解码中，已生成位置的 KV 状态可以供后续步骤复用。双向去噪会反复修改多个位置，相关表示也可能随上下文变化，直接套用同样的缓存容易过时。因此需要限制依赖范围，或采用经过验证的近似缓存。
块扩散（Block Diffusion） 是实用化的解决方案：将序列切分为固定大小的块（如 32 或 256 token），块内使用双向注意力进行扩散去噪，块间使用因果注意力顺序推进。每个块完成后，其 KV 状态被写入缓存，供后续块使用。这实现了块内并行与块间顺序的折中。
Fast-dLLM（NVIDIA/HKU/MIT，ICLR 2026）则为双向扩散模型设计了块级近似 KV 缓存，在多轮处理中复用部分注意力 KV 激活值。其测试中的缓存方案带来约 2–3.6 倍加速。
优先并行确定模型更有把握的 Token
部分早期实现为了保持质量，每轮只确定少量甚至一个 Token，削弱了并行优势。Fast-dLLM 采用置信度感知并行解码：让模型较有把握的位置一起确定，不确定的位置保留掩码，等待更多上下文。
论文对高置信度预测给出了并行解码分析，用以控制同时确定多个位置时的依赖误差。在其 LLaDA 实验中，缓存与并行解码结合，相对未优化基线的吞吐提升最高达 11 倍（GSM8K，长度 512）和 9.2 倍（MBPP，长度 512）。这些倍数对应具体实验设置。
Fast-dLLM v2 减少转换训练所需数据
Fast-dLLM v2（ICLR 2026）报告，用约 10 亿 Token 的微调数据，就能将预训练模型转换为块扩散模型。作者将这一用量描述为 Dream 约 5800 亿 Token 转换训练数据的约五百分之一；前者仍继承原始自回归模型的预训练投入。在其测试中，解码最高约加速 2.5 倍，并保持相近或更好的任务表现。
DiffusionGemma 接入 vLLM，方便开发者实验
DiffusionGemma 的进展在于，研究者现在可以通过 vLLM 等现有工具运行这种生成过程，评估低延迟文本编辑和交互任务。Google 将它定位为实验模型，并继续推荐标准 Gemma 4 用于更重视输出质量的应用。
同一骨干交替编码上下文和修改文本块
- 26B 总参数 / 3.8B 激活参数（MoE），NVFP4 量化后可在约 18GB 显存内运行，具体占用随配置变化
- 构建在 Gemma 4 架构之上，同一骨干的两种运行模式共享权重：
- 编码器模式（因果注意力）：预填充 prompt 和提交完成的块，写入 KV 缓存
- 解码器模式（双向注意力）：在 256-token 画布上迭代去噪
- 使用 熵受限去噪（Entropy-bound Denoising）：根据预测分布的熵衡量把握程度，从较确定的位置开始接受候选，直到累计熵达到预算，其余位置重新加入随机 Token。经过多轮修改，达到收敛条件或步数上限后提交文本块。
- 自条件化（Self-conditioning）：每步将上一步的完整 softmax 分布通过门控 MLP 注入画布嵌入，为模型提供「记忆」
vLLM 调整状态管理和注意力计算
vLLM 团队与 Google DeepMind 利用 Model Runner V2 的 ModelState 接口保存各请求的去噪状态，并调整采样流程。主要改动包括：
- 复用推测解码路径：扩散画布在每一步可被视为一组「草稿 token」，被全部接受或拒绝
- 动态逐序列因果注意力：单个 batch 中混合 prefill、denoise、commit 三种请求，每条请求独立设置因果/双向注意力掩码
- Triton Attention 和 FlashAttention 4 双后端支持
单卡、低并发测试显示生成速度提升
| 硬件与配置 | 公布的生成速度 | 来源与比较口径 |
|---|---|---|
| H200（FP8，批大小 1） | 1,288 tok/s | vLLM：约为标准 AR 基线 6 倍 |
| H100（FP8，批大小 1） | 1,008 tok/s | vLLM：约为标准 AR 基线 5 倍 |
| RTX 5090 | 700+ tok/s | Google：面向独立 GPU 的低并发生成 |
| DGX Station | 最高 2,000 tok/s | NVIDIA：同类单用户场景约 4 倍 |
这些结果来自不同发布方和配置，不构成统一硬件横评。vLLM 另报告，相对使用多 Token 预测的 AR 基线，H200 和 H100 的倍数分别约为 3 和 2.6。
数独微调展示了整块修改的用途
Google 发布的数独微调示例中，基础 DiffusionGemma 的成功率接近 0%；使用数独数据做监督微调后，成功率达到 80%，推理步骤也减少。整块修改让不同格子的约束可以共同参与生成，这展示了定制用途。自回归系统也能通过规划、搜索或外部校验处理数独，不能由这项示例推断它们无法回溯。
低并发场景更受益，质量和服务成本仍需权衡
扩散语言模型的收益与并发量、输出长度和质量要求密切相关，可以按以下方向评估：
较有希望的场景（低并发、单用户、本地推理）：
- 交互式聊天、代码补全和实时编辑
- 需要协调多个位置的结构化输出与填空任务
- 对生成延迟敏感、并发较低的本地 Agent 流程
需要特别比较的因素：
- 高并发云服务中，自回归模型可以通过批处理充分使用计算资源，扩散的相对优势可能减小，服务成本甚至上升
- DiffusionGemma 的整体输出质量低于标准 Gemma 4，这也是 Google 推荐后者用于高质量应用的原因
- 微调、对齐、多模态和部署工具的支持因具体模型而异，接入前需分别验证
速度评测还要区分首段等待、后续生成吞吐和完整任务时间。文本块需要完成若干轮修改才提交，较高的 Token 吞吐未必意味着每种交互都更快；重试和质量检查同样会影响用户体验。
后续要验证长任务、多模态和实际服务效果
对扩散语言模型的投入，反映了研究者对推理效率的持续关注：同一套硬件上，改变生成步骤和并行方式，可能比单纯扩大参数更适合某些交互任务。是否适合实际服务，还要同时考虑质量、延迟与成本。
LLaDA 等实验已经说明，较强的语言能力可以通过自回归之外的训练和生成过程获得。双向处理与反复修改提供了新的设计选择，尤其适合探索填空、结构约束和可编辑输出；优势能否延伸到复杂 Agent 任务，还需要进一步测试。
值得关注的方向包括：
- 架构组合：继续研究块间顺序生成、块内并行修改，以及不同缓存策略如何配合
- 扩散推理：结合思维链、搜索与校验，观察增加步骤时质量能否稳定提高
- 多模态扩散：Fast-dVLM 等工作开始探索视觉语言任务，文本之外的应用仍需单独评估
- 本地部署：在消费级 GPU 上比较交互延迟、显存占用和完整任务的能耗
从 LLaDA 8B 的训练实验，到 DiffusionGemma 接入 vLLM，扩散语言模型逐步获得了更完整的运行工具。下一步的判断标准也应更具体：在相同任务与质量要求下，它能否持续减少等待和费用，并保持可用的输出。
本文根据 Google、vLLM、NVIDIA 的技术博客，以及文中所列学术论文和模型资料整理。
