MiniMax 开放 H3 视频模型基础权重,2K 生成仍需调用 API | AGIDaily
AGI Daily
资讯日报词条论文人物新创

MiniMax 开放 H3 视频模型基础权重,2K 生成仍需调用 API

2026-08-03 / 共 3,599 字

ComfyUI Blog

7 月 31 日,中国 AI 公司 MiniMax 发布第三代视频生成模型 H3;8 月 3 日,模型权重在 Hugging Face 上线,ComfyUI 同日提供原生支持。在 Artificial Analysis 的盲评排名中,H3 拿下视频编辑第一名(Elo 1130),文生视频第二(Elo 1240,仅次于 Google Gemini Omni Flash),图生视频第三(Elo 1187)。据 The Decoder 报道,这是开放权重视频模型首次在主流视频评测中取得第一名。

但本次开源的边界同样值得审视:H3 的核心生成器(H3-Base)以两个任务特定 checkpoint 的形式开放,而负责将多模态指令转化为结构化输入的 Context-IR 预处理系统,以及实现 2K 输出的 In-Context Regeneration 模块,目前仍通过 MiniMax API 提供。

因此,本地用户能取得基础生成器,但还不能直接复现完整的官方服务。理解这次发布,需要同时看模型评测、可下载组件和商业许可。

一个模型处理多种视频任务,并生成立体声音频

H3 跟前两代 Hailuo 产品线最大的区别在于将多种任务放入同一架构。传统视频模型通常将文生视频、图生视频、首尾帧生成、主体参考、运动参考、视频编辑等拆分为独立专家模型;音频生成中,语音、音效、音乐也各自为政。H3 在预训练阶段就把这些任务统一到一个框架中——所有输入模态(文本、图像、视频、音频)被编码后打包为一个统一的序列,送入同一个 33B 参数的 Omni-Transformer 进行联合预测,输出视频与原生立体声。

这种统一设计依赖三个关键技术选择:

H3-VAE 的高压缩比。 这是 H3 能以经济可行的方式支持原生 2K 的基础。H3-VisualVAE 的空间压缩比为 16×,时间压缩比为 4×,24 个潜在通道。在进入 Transformer 之前,视觉潜在表示还会被进一步 patchify(patch size 1×2×2),使有效空间下采样达到 32×。综合来看,这带来了约 4 倍的有效序列长度增益,大幅降低了训练和推理成本。

H3-Encoder 基于 Qwen3-VL-32B。 MiniMax 没有从头训练视觉语言编码器,而是直接使用了 Qwen3-VL-32B 的完整预训练权重,取其第 50 层的隐藏状态馈入 Omni-Transformer。这一选择既节约了训练资源,也让 H3 从起步就具备了较强的多模态理解能力。

In-Context Regeneration 替代传统超分。 H3 的 2K 输出路径不走常规的"生成低分辨率→外挂超分模块"路线。它让 H3-Base 先生成 768p 的结果,然后将这个结果与原始多模态上下文一起回传给模型,让模型在上下文中重新生成高分辨率版本。这样做的好处是:细节(小文字、品牌标识、精细纹理)可以从原始参考材料中"拉"回来,而不是被独立超分网络凭空猜测。MiniMax 官方称,传统超分方法往往无法恢复这类信息。

基础生成器已开放,预处理和 2K 再生仍需 API

H3 的完整生产系统由三个模块串联而成:

  1. H3-Context-IR:接收用户的多模态指令(文本 + 最多 9 张参考图 + 3 段视频 + 3 段音频),解析跨模态关联、时序理解和逻辑推理,输出结构化的 Context Intermediate Representation——这是决定最终生成质量的关键预处理环节。
  2. H3-Base:基于 Context-IR 的输出生成 768p 视频和立体声音频。这是本次开源的核心部分。
  3. H3-Regenerate-2K:将 768p 结果与原始上下文再次输入模型,生成 2K 输出。

开源的只有第 2 层——H3-Base 的两个任务 checkpoint(FL2VA 用于首尾帧场景,Ref2VA 用于多模态参考场景),每个 checkpoint 包含 Omni-Transformer、processor、tokenizer、text encoder、Visual VAE 和 Audio VAE 的完整权重。第 1 层和第 3 层均通过闭源 API 提供。

本地部署 H3-Base 的用户可以得到 768p 的视频和立体声音频,可以进行微调、私有化部署和自定义工作流集成。但要复现官方 2K 产品级质量,目前仍需调用 MiniMax 的 Context-IR API 和 Regenerate-2K API。用户可以自行构建等效的预处理系统,替代 Context-IR 环节;2K 再生仍需调用相应 API。MiniMax 在 model card 中提供了详细的提示词编写指南,鼓励社区自建 Context-IR——但这不是一件简单的事:官方 Context-IR 处理一段多模态输入可能需要消耗约 100K token 的推理计算,最终压缩为约 4K token 的结构化表示。

此外,H3 架构中设计用于降低长序列计算成本的稀疏注意力机制也未包含在此次开源中——首版仅支持全注意力推理。MiniMax 承诺后续会单独发布。

ComfyUI 减少内存占用,配合卸载可在 12GB 显卡运行

ComfyUI 团队通过三项调整,降低了运行 33B 参数模型所需的显存:

调制权重剪枝。 H3-Omni-Transformer 约 40% 的参数(约 13B)位于 AdaLN(自适应层归一化)分支。这些参数的作用是根据条件信号调制主网络的激活——但其输出可以在推理前预计算并缓存,因此推理时无需加载。ComfyUI 团队将这些调制权重剪枝并替换为功能等效的查找表,据团队称,这项等效替换可以减少内存占用而不影响质量。

int8 卷积旋转量化。 对剩余权重采用精确且高效的 int8 量化,进一步压缩内存。

动态 VRAM 卸载。 推理过程中将非活跃组件在 GPU 和系统内存之间动态迁移。

三项措施叠加,将全精度 123.6 GB 的内存占用降至 42.5 GB,削减 66%。配合动态 VRAM 卸载,用户可以在 RTX 3060(12 GB VRAM)上本地运行 H3-Base 的 768p 生成。

值得注意的是,这仅覆盖 H3-Base。2K 输出需要额外调用 Regenerate-2K API,不能在本地完成。

视频编辑排名第一,API 每分钟 7.80 美元

在 Artificial Analysis 的排名中,H3 的竞争位置如下:

任务 H3 排名 H3 Elo 领先模型
视频编辑(含音频) #1 1130 —
文生视频(含音频) #2 1240 Gemini Omni Flash (1244)
图生视频(含音频) #3 1187 Seedance 2.0 (1196), Gemini Omni Flash (1193)

H3 的 API 定价为 $7.80/分钟(2K 输出,含音频),在同类产品中处于中位:比 Gemini Omni Flash 的 $6.00/分钟略高,但远低于 Seedance 2.0 1080p 的 $22.45/分钟、Kling 3.0 1080p 的 $20.16/分钟,以及 HappyHorse-1.1 的 $9.90/分钟。

MiniMax 官方称,H3 在 2K 分辨率下的每秒价格不到主流模型的三分之一,在 768p 下不到主流模型 720p 价格的一半。上述比较的分辨率不同,且按列出的每分钟价格也不足以支持“不足三分之一”,不能直接验证这一说法。另外,Gemini Omni Flash 在更低价格下提供了相近甚至略优的 T2V 和 I2V 表现。

与同日发布的字节跳动 Seedance 2.5 相比,两者选择了截然不同的路线:Seedance 2.5 保持闭源,单次可生成 30 秒视频(H3 为 15 秒),但 H3 以开放权重和更低价格作为差异化策略。

年收入超过 2000 万美元的组织,商用需另行协商

H3 的权重采用 MiniMax H3 Community License 发布。核心条款:免费非商业使用;年收入低于 2000 万美元的组织可免费商用,需显著署名;年收入超过 2000 万美元的组织需与 MiniMax 单独协商商业授权。

这与 MiniMax 此前 M 系列语言模型采用的 MIT 许可证不同(后者在 M2.7 时已转向更严格的社区许可证)。对于大多数独立开发者和中小型工作室,2000 万美元的收入上限不会构成障碍;但对大型企业和平台而言,自建 H3 部署的商业成本需要单独谈判。

后续还要看剩余组件开放与社区替代方案

H3 之前,开放权重视频模型的性能明显落后于闭源产品。上一个标杆 LTX-2.3 从未在任何主流评测中接近榜首。H3 在视频编辑维度登顶,在 T2V 和 I2V 维度进入前三,显示它在这组盲评中的竞争力。

完整服务涉及多模态指令处理、基础生成和 2K 再生等多个步骤。MiniMax 目前选择开放 Base,让社区可以自托管、微调和适配,同时将其他两个组件保留为 API 服务。公开材料尚不足以判断,这主要出于工程交付还是商业安排。

MiniMax 在官方博文中宣布后续 H 系列将整合其 M 系列语言模型的能力,并继续推进 scaling 和高分辨率。ComfyUI 团队在 day-0 的深度适配展示了社区工具如何进一步降低硬件门槛。接下来最值得观察的变量是:MiniMax 是否以及何时开源剩余的 Context-IR 和 Regenerate-2K 模块,以及社区能否在缺少这两个组件的情况下构建出有竞争力的替代方案。

来源

  • MiniMax H3: An Open Model Breaking the Boundaries Between Tasks and Modalities · MiniMax
  • MiniMax H3 Day-0 Support in ComfyUI · ComfyUI
  • MiniMax H3 Model Card · Hugging Face
  • China MiniMax H3 is the first open model to top an AI video ranking · The Decoder
  • China MiniMax releases H3 video model · Reuters
  • Video AI: MiniMax challenges ByteDance with low price, open weights · South China Morning Post
  • Video Editing Leaderboard · Artificial Analysis

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Kimi K3 模型发布视觉主图

    Kimi K3 开放模型权重,完整文件约 1.56TB

    2026-07-27

  • FastVideo 本地运行文章配图,画面中组合摆放着 Mac 与 NVIDIA DGX Spark 设备

    FastH3 加速 MiniMax H3,Mac 可本地生成有声视频

    2026-09-02

  • Kimi 产品界面示意图,展示 Moonshot AI 的 Kimi 模型入口与能力选项

    月之暗面发布 Kimi K3,前端编程评测位居第一

    2026-07-20

  • 科大讯飞与讯飞星火标识下方写有‘星火 X2.5 正式发布’的蓝色发布海报
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

星火 X2.5 上线:293B-A30B 与 1.6 元 API 价分别说明什么

2026-09-07

  • Qwen-Image-2.1 的块因果注意力示意图:系统前缀、输入图像和编辑指令被缓存,目标图像在每一步重新计算

    Qwen-Image-2.1 能本地生成透明图,商用仍需另领许可

    2026-09-20

  • 腾讯混元 Hy4 preview 模型卡中的基准测试结果图表

    腾讯开源混元 Hy4:支持百万 token 上下文,并参与优化推理系统

    2026-08-31