DanceOPD：字节跳动 Seed 团队让一个模型同时搞定文生图、编辑与更多——多能力生成的「蒸馏统一」之路

摘要

生成式 AI 正在进入一个"能力爆炸"的时代：文生图、图像编辑、真实感增强、风格迁移——每一项能力背后，通常都有一个专门训练的专家模型。然而，在真实部署场景中，同时维护和调用多个专家模型意味着高昂的计算成本和复杂的系统架构。

6 月 26 日，字节跳动 Seed 团队联合学术界研究人员发布了 DanceOPD（On-Policy Generative Field Distillation），一个面向流匹配（Flow Matching）模型的生成场蒸馏框架。DanceOPD 的核心思路是将每个专家模型视为共享隐空间上的一个"速度场"，通过 on-policy 蒸馏，将多个能力统一到单一学生模型中。这项工作在 arXiv 上线后迅速登上 HuggingFace 论文趋势榜首位，引发广泛关注。

一个模型，多个能力：为什么这么难？

当前主流的生成式图像模型大多基于流匹配架构——无论是 Stable Diffusion 3、Flux 还是 Seed 自家的模型，都依赖一个从噪声到数据的连续"流动"过程来生成图像。但流匹配模型在面对多种能力混合时，存在一个根本性问题：不同能力之间天然不兼容。

具体来说，编辑能力往往会损害文生图（T2I）的提示跟随质量，而局部编辑和全局编辑之间也存在互相干扰——前者要求精确保持画面中未编辑区域不变，后者则追求整体风格或结构的剧烈变换。传统的解法各有短板：数据混合与联合训练会稀释能力特异性、引发梯度冲突；参数空间融合（如权重平均）往往产出折中解；推理时的分数组合则把组合逻辑留在了部署模型之外。

DanceOPD 的研究者从一个新视角审视这个问题：将每个冻结的专家模型看作共享流状态空间上的一个速度场（velocity field）。生成能力的关键不再是对模型参数本身的加减，而是——在哪些位置、以何种方式查询这些速度场。

核心方法：三个"反直觉"的设计选择

DanceOPD 的框架建立在对三个根本问题的诊断之上，每个问题对应一个设计选择：

问题一：目标场模糊。 如果让一个样本同时被多个专家场监督——例如对同一个隐状态同时询问 T2I 场和编辑场——得到的梯度信号可能指向一个现实中不存在的"平均能力"，最终学生什么也学不好。DanceOPD 的解法是硬路由（hard routing）：每个样本只被分配给一个能力场，保持监督信号的语义纯度。

问题二：状态分布错配。 传统蒸馏中，教师模型在自身的轨迹上生成状态并交给学生去匹配。但这些状态对学生的推理轨迹来说是"离策略"的——学生推理时访问的状态空间，在训练中从未被覆盖。DanceOPD 让学生自己跑 rollout 轨迹，在 stop-gradient 的学生状态上查询教师场，实现真正的 on-policy 学习。

问题三：轨迹内查询相关。 同一条 rollout 轨迹上的多个状态共享相同的噪声种子、提示词和动力学路径，密集查询这些状态会导致梯度被单一路径过度加权。DanceOPD 只取一个低噪声语义侧状态（K=1），避免轨迹内相关性的偏置。

这三个选择的组合，构成了 DanceOPD 的训练目标——在一个 stop-gradient 的学生 rollout 状态上，将路由选中的教师速度与学生的预测速度做单点 MSE 匹配。整个过程简洁优雅，无需复杂的损失加权或对抗训练。

不止于编辑：CFG 吸收的意外惊喜

论文的另一个亮点是将 classifier-free guidance（CFG）吸收也纳入了同一框架。CFG 是当前主流生成模型的标配——推理时需要通过两次前向传播（条件 + 无条件）并加权组合来提升生成质量。DanceOPD 将 CFG 视为一个算子定义的速度场 v_α = v_∅ + α(v_cond - v_∅)，将其作为一种"源能力"纳入蒸馏。实验显示，训练 α 和推理 β 可以近似相乘组合，最佳组合诊断得分达到 5.833。

这意味着，未来部署时可能不再需要双倍推理开销来执行 CFG——模型可以直接内化引导信号，进一步降低推理成本。

实验数据：不是折中，而是超越

DanceOPD 在四个能力组合维度上进行了全面验证：

T2I + 编辑组合：DanceOPD 在 GEditBench 上取得 5.347 分，比最佳复现的 OPD 基线高 8.1%，比编辑源模型高 8.5%；GenEval 总体指标 0.849，在保持强文生图能力的同时获得编辑能力。

局部 + 全局编辑组合：这是一个更难的场景——局部编辑要求高保真保留，全局编辑要求大幅变换。DanceOPD 取得 5.498 分，比最佳竞争基线高 16.1%，比局部编辑源模型高 7.9%，GenEval 仍保持 0.848。

以下是 T2I + 编辑场景下各方法的对比：

消融实验进一步确认了每个设计选择的价值：硬路由（5.751）显著优于软融合 MSE（4.994）；低噪声查询（5.751）远胜中/高噪声；单点查询 K=1（5.751）优于 K=4（5.330）和 K=16（5.127）。这些数据清晰地表明，失败并非来自损失函数的命名或训练时长，而是根本性的查询构建方式。

为什么值得关注

DanceOPD 的价值体现在两个层面：

学术层面：这是 flow-matching 模型多能力组合问题的一次重要突破。它将蒸馏从"模型压缩"的旧范式升级为"能力组合"的新范式——学生不仅复制教师，还能通过精准的场查询实现超越单一专家的表现。on-policy 范式在 LLM 领域已由 DeepSeek-R1 等工作验证，DanceOPD 则将其成功迁移到了视觉生成领域。

产业层面：如果多专家模型的各项能力可以被高效蒸馏到单一学生模型中，生成式 AI 的部署复杂度和推理成本将大幅下降。一个模型同时完成文生图、局部编辑、全局编辑和风格迁移——不再需要根据任务类型切换模型、管理多套参数，这对移动端部署和 API 服务都具有直接的工程价值。

此外，这项工作来自中国团队——字节跳动 Seed 与新加坡国立大学等高校的合作。这是继 Seed 团队在 DeepFlow、FlowAR 等工作后，在流匹配方向上的又一系统性贡献。

结语

DanceOPD 的故事本质上是一个"少即是多"的故事：不是把更多数据混在一起训练，而是更精确地定义"从哪里学"和"怎么学"。在生成式 AI 从单一能力走向多能力统一的进程中，这种对蒸馏范式本身的重新思考，可能是比模型规模竞赛更有意义的方向。

论文已上线 arXiv:2606.27377，代码开源在 worldbench/DanceOPD。