轻量模型专门填补图像缺失区域
华中科技大学与 VIVO AI Lab 推出 Moebius，用于根据图像周围的内容填补缺失区域。其去噪网络有 2.26 亿参数（0.226B），不到论文所列 FLUX.1-Fill-Dev 的 119 亿参数的 2%。在经过任务微调的自然场景与人像基准上，Moebius 的部分指标接近或超过这一大型模型，并显著缩短了推理时间。
团队于 6 月 18 日宣布论文获 ECCV 2026 接收，并公开训练、推理代码和模型权重。6 月 22 日，开发者 Simon Willison 在 Hacker News 看到项目后，用 Claude Code 辅助制作了 WebGPU 浏览器演示，让修补过程在本地设备上运行。
缩小任务范围，减少模型参数
FLUX.1-Fill-Dev、SD3.5 Large-Inpainting 等大模型能够处理多样化的图像修补需求，也带来了较高的计算与显存开销。研究人员一直在探索更轻量的专用模型，以适应资源受限或对延迟敏感的场景。
Moebius 选择专注图像修补：给定原图和标记缺失位置的遮罩，模型根据已有内容生成相容的结构与纹理。团队希望通过针对这一任务优化网络和训练方法，在更小的参数规模下保留修补质量。
这与 TinyLlama、SmolLM 等语言小模型对效率的关注相呼应。Moebius 的具体进展在于，将参数规模压到 FLUX 的 2% 以下，并在涵盖自然场景和人像的 6 组评测设置中比较修补效果。
用紧凑计算模块和蒸馏补偿压缩损失
团队从网络结构和训练方法两方面减少模型开销：
架构层面：LλMI（Local-λ Mix Interaction）块。 标准注意力计算需要建立不同位置之间的交互，空间序列变长时，注意力矩阵会显著增加计算和内存开销。LλMI 将空间上下文与全局语义先验汇总成固定大小的矩阵，配合轻量卷积和前馈模块减少开销。它包含三个子模块：
- Local-λ：聚合图像内的语义、纹理和位置信息，结合局部空间关系；
- Interactive-λ：引入全局语义先验，帮助修补内容与场景保持一致；
- Mix-FFN：基于深度可分离卷积的高效特征变换单元。
在论文的结构消融中，基线有 5.26 亿参数、约 314 GFLOPs，完整方案缩减到 2.26 亿参数、154 GFLOPs。计算量约减半，同时结合蒸馏保留了较好的修补指标。
训练层面：自适应多粒度蒸馏。 团队发现，直接替换为轻量算子可能损害生成质量，因此从教师模型 PixelHacker 向 Moebius 传递知识。蒸馏在潜在空间中进行，避免为计算损失反复解码到像素空间；它同时约束中间特征、最终预测和感知特征，并根据梯度范数调整不同损失的权重。
消融实验还表明，结构压缩与蒸馏需要配合设计。轻量模块单独替换时未必改善质量，完整组合则能在参数与计算减少的情况下，更好地保留教师模型的生成能力。
指定基准上接近 FLUX 的质量，并缩短推理时间
论文在 Places2、CelebA-HQ 和 FFHQ 上使用不同分辨率与遮罩，形成 6 组评测设置。Moebius 分别在相应数据集上微调，FLUX 和 SD3.5 则作为零样本工业模型比较。速度测试统一使用单张 NVIDIA L40S、批量 1 和 512×512 图像：
- Moebius 单步推理延迟仅为 26.01 毫秒，而 FLUX.1-Fill-Dev 为 161.01 毫秒，SD3.5 Large 为 151.02 毫秒；
- 按论文默认采样设置，Moebius 使用 20 步、总计约 0.52 秒，FLUX 使用 50 步、约 8.05 秒，后者耗时是前者的 15 倍以上；SD3.5 使用 28 步、约 4.23 秒；
- 在 Places2 小区域缺失条件下，Moebius 取得 FID 0.92、LPIPS 0.091，略低于 FLUX.1-Fill-Dev 的 FID 0.94、LPIPS 0.099（两项均以低为好）；
- 在大面积缺失与自由形状遮罩设置中，Moebius 的多项指标也接近或优于 FLUX，具体表现随设置和指标而异；
- 团队展示的复杂纹理和面部案例中，Moebius 在部分样例上生成了更自然的结果。
这些结果支持 Moebius 在特定修补任务上的效率优势，但比较同时包含任务微调、模型架构和采样步数的差异。其教师 PixelHacker 在部分质量指标上仍更好，Moebius 的收益主要在于以更低开销保留接近的效果。
专用小模型需要保住纹理与结构
与 TinyLlama、SmolLM、MobileLLM 等语言小模型类似，Moebius 尝试在有限参数下保留对目标任务最有用的能力。图像修补的评估对象则有所不同。
图像修补需要兼顾像素和纹理细节、场景语义以及遮罩边缘的连续性。接缝、模糊纹理或不协调的光影，都可能让结果无法使用。因此，参数量和自动指标之外，还需要查看具体图像效果。
Moebius 展示了专门优化一种视觉任务的可行性。它的实验范围是图像修补，能否在更广泛的图像、遮罩和部署条件下维持质量，仍取决于后续测试与适配。
浏览器演示已运行，仍需下载权重与适配硬件
较小的去噪网络为本地部署提供了条件，但运行需求还包括 VAE、模型权重和推理时的中间数据：
- 消费级 GPU 有部署空间：论文使用 RTX 3090 完成任务微调，实际推理速度仍取决于设备与配置；
- 边缘部署仍需适配：手机、平板和其他设备能否运行，要结合内存、算子支持与性能评估；
- 已有浏览器演示：Simon Willison 用 Claude Code 辅助将模型转换到 ONNX，并通过 WebGPU 本地推理；演示位于 simonw.github.io/moebius-web/，推理无需后端服务器。
Willison 表示，他在 Chrome、Firefox 和 Safari 中都试过这个演示。首次使用需要下载约 1.3 GB 的转换后模型文件，随后可通过缓存减少重复下载。用户在本地选择照片、涂抹待移除区域并等待生成，图像处理不必依赖云端推理 API；耗时仍受设备影响。
开源代码便于检验质量与部署成本
Moebius 为图像修补提供了一组可检验的设计：紧凑网络、多粒度蒸馏，以及针对任务的微调。Places2 小遮罩上的 FID 0.92 和 L40S 上每步约 26 毫秒，展示了这套组合在指定条件下的效果。
研究人员可以通过公开代码比较结构与蒸馏的贡献，开发者则可以用 GitHub 代码和 Hugging Face 权重测试自己的图片。浏览器演示提供了另一种使用方式；它能否成为稳定工具，还要看下载体验、设备兼容性和修补结果。
