日本东北大学发布了 7B 参数的扩散语言模型 Sumi，开放权重、检查点和训练配方。它从零训练，并允许生成过程中反复改写 token，为研究语言模型的另一种生成方式提供了实验对象。
逐个续写文本，还是从噪声序列中反复去噪
自回归模型的核心思想简单而强大：给定上文，预测下一个 token。普通自回归解码从左到右续写，已输出的 token 不会在同一次解码中被直接改写。系统仍可重新生成或编辑答案，因此这不是说自回归模型在任何情况下都无法纠错。
扩散语言模型则走了另一条路。它将文本生成建模为"从噪声中逐步恢复信号"的过程：以均匀扩散为例，模型从完全随机的 token 序列出发，经过多个去噪步骤，逐步在各个位置形成有意义的文本。这种方法允许模型在后续步骤中改写已有 token，为生成过程中的调整提供了可能。
然而，扩散语言模型内部也存在重要分歧。掩码扩散模型（masked diffusion language models, MDLMs）——以 LLaDA-8B 为代表——在每一个去噪步中填完某些被掩码的 token，但一旦填完就不可再修改。这是所讨论的标准掩码扩散过程的限制；额外的重掩码策略可以作不同设计。而均匀扩散模型（uniform diffusion language models, UDLMs）允许任何 token 在任一步骤被更新，因此在机制上为自校正（self-correction）留下了空间；能否改对，还要看训练和采样方法。
从零训练 7B 模型，公开权重、检查点与数据配方
尽管掩码扩散模型已经出现了 LLaDA-8B 这样在 2.3T token 上训练的规模化作品，均匀扩散模型此前从零训练的公开模型规模较小。此前最大的 UDLM 要么是计算最优的小规模检查点，要么虽在数据丰富区训练但参数量仅有 1.7B。Google DeepMind 的 DiffusionGemma 虽然采用了均匀扩散范式，但它是从预训练好的自回归模型改造而来，并非从零训练。研究者因此希望提供一个从零训练、便于比较的参考模型。
日本东北大学的研究团队——叶梦宇、工藤慧人、池田航、松田亮介、坂口慶祐、铃木润——发布的 Sumi（日语中的"墨"，取意文本从噪声中逐渐浮现，犹如墨迹在纸上晕开）填补了这一空白。Sumi 是一个 7B 参数的均匀扩散语言模型，在 1.5T token 上完全从零训练，使用 288 块 NVIDIA H100 GPU，总计 43,308 GPU 小时。
Sumi 也公开了供他人复现实验的材料。团队不仅发布了模型权重，还公开了中间检查点、完整训练配方，以及基于公开语料库的数据混合方案。在训练数据方面，Sumi 构建于 LLM-jp 语料库之上：预训练阶段约 1.3T token，以教育评分筛选和重排后的网页数据为主（69.6%），辅以代码（12.9%）、通用文本（7.6%）、学术文献（6.5%）和数学（3.5%）；中段训练约 250B token，大幅加权代码（32.5%）和数学（29.7%）。
技术架构上，Sumi 采用 LLaMA 风格的 36 层双向 Transformer（隐藏维度 4096，SwiGLU MLP，分组查询注意力 32 头/8 KV 组），基于 GIDD（Generalized Interpolating Discrete Diffusion）框架及其 SNR 重参数化改进版本进行训练。
知识和代码成绩较好，三项常识测试仍落后
在 13 个基准测试上，Sumi 与相近规模、训练 token 预算可比较但并不相同的自回归模型（Falcon-7B、Llama 2-7B、OLMo-7B）进行对比（统一使用 lm-evaluation-harness，仅针对扩散模型修改评分方式）：
- 通用知识方面，Sumi 在 MMLU（51.1）、RACE（41.4）和 TruthfulQA（46.6）上均取得同组最优，显著优于 Falcon-7B（MMLU 27.2）和 OLMo-7B（MMLU 28.0）。
- 编码能力方面，Sumi 在 HumanEval（22.6）和 MBPP（26.6）上同样领先同组模型，Falcon-7B 在这套评估设置下的 HumanEval 得分为 0。
- 推理与数学方面，Sumi 在 GSM8K（32.8）上大幅领先 Falcon-7B（5.3）和 OLMo-7B（3.8），与 Llama 2-7B（13.5）相比也有明显优势。
- 常识推理是 Sumi 的明显短板。在 PIQA（66.4 vs 同组最优 80.5）、HellaSwag（60.0 vs 76.3）和 WinoGrande（60.0 vs 74.7）上，Sumi 与自回归模型之间存在约 10-20 个百分点的显著差距。
研究团队认为，教育导向的数据混合是常识推理弱的可能原因——教育评分过滤已知会提升知识密集型基准但损害常识任务——但差距之大无法仅用数据组成解释，完整归因留待未来工作。
小样本测试发现，增加修改机会没有提高准确率
除了基准测试，团队还对 Sumi 的生成行为进行了四项探索性分析（每任务 30 道题，以 Falcon-7B 困惑度作为流畅度代理指标），这些结果用于提出后续研究问题，尚不能视为稳定结论：
预先分配的 token 位置数量会影响生成。 Canvas 指生成开始时分配的 token 位置数，包含最终可能不输出的位置。Sumi 在所测训练长度范围内生成较流畅；超出范围时，GSM8K 退化最明显，短 canvas 下会生成近乎随机的文本。其他任务退化较缓，编码任务甚至在 2.5 倍最长训练序列长度下仍保持或改善流畅度。
按置信度选位置，会形成不同的生成顺序。 尽管均匀扩散的训练目标本身并未指定 token 的确定顺序，但基于置信度的自适应采样会在生成过程中自发形成结构化的提交顺序——模型倾向于先"敲定"它有把握的位置，将困难位置推迟到后续去噪步。相比之下，祖先采样（ancestral sampling）几乎不产生任何结构。
每步多生成几个 token，对代码和算术的影响不同。 在编码任务（HumanEval、MBPP）上，每步同时提交最多 4 个 token 几乎不影响准确率——这与掩码扩散模型"每步一个 token 才能保证最优"的报告形成鲜明对比。但 GSM8K 在 k=2 时准确率就开始下降，表明多步算术推理对生成顺序高度敏感。
额外去噪没有带来有效纠错。 团队给予模型明确的修订预算（额外 1-7 轮去噪），发现虽然 58%-100% 的修订步确实覆盖了已提交 token，但净效果微乎其微：最终至多 1% 的 token 与首轮提交不同，提取的答案几乎从未翻转，准确率不变。检查覆盖轨迹后发现，绝大多数覆盖只是 A→B→A 式的反复改写，没有形成有效修订。均匀扩散在理论上允许自校正，但在 Sumi 当前的设置下并未显现。
开放训练材料，便于继续研究并行生成与纠错
Sumi 的主要价值，是让其他研究者能够在一个开放模型上继续检验以下问题：
填补了研究空白。 据作者对先前工作的梳理，此前还没有同时具备这种参数规模和训练预算的从零训练均匀扩散模型。自回归有 Llama、Falcon、OLMo，掩码扩散有 LLaDA，均匀扩散却没有一个可用的规模化参考点。Sumi 提供了这个参考点。
完全开源。 权重、检查点、训练配方、数据混合方案全部公开，为社区提供了一个可复现、可研究的实验平台。训练数据来自公开语料，团队提供筛选与混合说明，未重新打包发布所有原始数据；复现者还需取得对应上游语料。
明确后续问题。 常识推理的显著差距、自校正的缺失、canvas 长度的敏感性——这些结果指出了仍需解决的限制。它们为后续研究指明了方向：数据混合如何影响扩散模型的常识推理？自校正需要怎样的训练或推理策略才能激活？并行解码的极限在哪里？
扩散语言模型的潜在优势——并行生成、可控性、自校正——还需要更多实验来验证。Sumi 为继续研究这些问题提供了可下载的模型和训练记录。后续工作需要扩大样本，并检验不同数据、采样和修订策略能否稳定改善结果。
