阿里开放 Qwen3.8 大模型权重,单节点部署需靠 4-bit 量化 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

阿里开放 Qwen3.8 大模型权重,单节点部署需靠 4-bit 量化

2026-08-12 / 共 2,355 字

8 月 12 日,阿里把 Qwen3.8-2.4T-A95B 的权重放上了 Hugging Face 和 ModelScope,兑现了 8 月 3 日发布 Qwen3.8-Max 时"下周开源"的承诺。这是 Qwen 首次把 Max 级模型开放权重,规模也足够醒目:2.4 万亿总参数、每 token 激活 95B、512 个路由专家、92 层混合注意力。不过,部署这套模型仍有较高门槛:官方只发布了 BF16 和 FP8,其中 BF16 权重就有 4.45 TiB,在 B300 或 MI355X 配置下需要 3 台 8 卡节点才能装下;把它压进单节点的 4-bit 路径,要靠 AMD、NVIDIA 和社区来完成,而发布方没有给出量化后的完整能力证据。

开放版只接收文本,与 Max API 的配置不同

先厘清口径。Qwen 模型卡写的是"Qwen3.8 首次把 Qwen-Max 级模型开放",不是"最大的开源模型"。这里需要区分模型规模与开放范围。

其一,按参数规模,Moonshot 的 Kimi K3 已在 7 月底以 2.8T 参数开放权重,成为更大的开放权重模型,Qwen3.8 的 2.4T 排在后面。

其二,开放权重的 A95B 并不是 API 上 Qwen3.8-Max 的完整镜像。模型卡明确区分:Qwen3.8-Max 是基于 A95B 的官方版本,额外带有视觉输入、可关闭的思考模式、默认 1M 上下文和内置工具;而 A95B 是纯文本、强制思考、不支持多模态输入、原生上下文 262K。HN 上多条评论注意到这个落差——"开源版本把视觉能力去掉了,上下文也砍到 250K"。所谓"Max 级开源",开放的是主干推理能力;视觉输入、内置工具和更长的默认上下文,是 Max API 版本的额外配置。

稀疏专家减少计算量,混合注意力降低长上下文开销

A95B 通过两个设计,降低 2.4T 模型的计算和缓存开销。

一是细粒度 MoE。512 个路由专家中,每个 token 只激活 10 个,外加 1 个共享专家,实际参与计算的参数量只有约 95B,单次计算不必用到全部 2.4T 参数,但所有权重仍需存储。作为对照,Kimi K3 是 896 个专家激活 16 个,DeepSeek V4 Pro 是 1.6T 总参、49B 激活。

二是混合注意力。92 层里只有 23 层跑全注意力(间隔为 4),其余 69 层用线性注意力,把随序列长度增长的 KV 缓存替换成有界的循环状态。NVIDIA 的技术博客解释,这套结构以线性注意力层的有界状态,缓解上下文增长带来的计算与显存开销,支撑了把原生 262K 扩展到约 1M 的能力。模型还内置了 MTP 草稿头,用于加速解码。

因此,理解 2.4T 模型的部署成本,需要同时看总权重大小、每次激活的参数量,以及长上下文的缓存开销。

4-bit 可在部分高端单节点运行,能力验证仍不充分

具体需要多少硬件,可以看部署配置。vLLM 的部署矩阵把四种精度配置的单节点可行性列得很清楚:

精度 权重大小 8×B300 8×MI355X 8×H200
BF16 4.45 TiB 3 节点 3 节点 6 节点
FP8 2.27 TiB 2 节点 2 节点 4 节点
MXFP4(AMD) 1.45 TiB — 1 节点 2 节点
NVFP4 W4A4(NVIDIA) 1.32 TiB 1 节点 — 2 节点

在表中的 B300 和 MI355X 配置下,装入单节点需要进行 4-bit 量化。而这一步并不在 Qwen 的官方发布里:Qwen 只放出了 BF16 和 FP8,单节点的 MXFP4 与 NVFP4 构建由 Inferact 账号提供,AMD 的文章用 Quark 从 FP8 检查点做 MXFP4 量化,NVIDIA 走 NVFP4 W4A4。这与 Kimi K3 形成反差——Moonshot 从 SFT 阶段就做量化感知训练,发布即 MXFP4,权重约 1.5 TB;Qwen 则是在发布后由第三方提供量化版本。

HN 上最集中的担忧因此不是"模型好不好",而是"它比 K3 更难服务":没有 QAT 的 4-bit,第三方服务商要么用 FP8 跑多节点,要么等有人用足够的校准数据做出可靠的 NVFP4,评论里点名的正是 NVIDIA。

精度证据同样薄弱。AMD 的文章给出的是 MXFP4 在 GSM8K(小学数学题)上的准确率 97.49%,与 FP8 持平;NVIDIA 给出的 FP8 在 GB300 NVL72 上的吞吐是单卡 4K+ tok/s、单用户 350+ tok/s。但单项小学数学测试,还不足以证明 4-bit 不影响编码或长程 Agent 能力。模型卡上的完整基准表全部来自 Qwen 自测,发布时没有独立第三方评测;HN 上"这张卡好得不像真的"的评论,反映了部分社区用户对自报数据的疑虑。

Qwen 扩大权重开放范围,实际部署效果还需检验

抛开部署门槛,这次发布本身是一个战略转向。过去 Qwen 的 Max 系列只通过 Qwen Cloud 的 API 提供;把 Max 级权重开放,意味着阿里在"开放权重 + 云推理"双轨上同时押注,吸引研究社区和第三方部署支持,包括 vLLM、SGLang、TokenSpeed,以及 AMD、NVIDIA 的 Day 0 支持。

近期,中国三家实验室的超大开放模型各有进展:DeepSeek V4 Pro(1.6T-A49B,MIT 许可,4 月已开放权重)的 0813 版本被社区传为基准接近 Fable 5 水平,但成绩尚待核实;Kimi K3(2.8T)7 月底开放权重;Qwen3.8(2.4T)补上"Qwen 首个 Max 级开源"的位置。三条路径不同——DeepSeek 走小激活的高效 MoE,Moonshot 走 2.8T 的规模上限,Qwen 走 512 专家的细粒度稀疏——共同点是开放大模型权重,让第三方能够研究和部署。

对大多数想真正用起来的人,更实际的节点在两天后:社区与 HN 评论都提到 Qwen3.8-27B 版本预计周五发布。若如期发布,较小的模型可能降低本地部署门槛,具体仍要看最终规格。2.4T 的 A95B 则展示了更大模型的部署条件:2.4T 参数可以量化装入部分高端单节点,但量化后能否保持各项能力,还需要 AMD、NVIDIA 和社区提供更完整的验证。

来源

  • Qwen/Qwen3.8-2.4T-A95B 模型卡 (Hugging Face)
  • vLLM Recipes: Qwen/Qwen3.8-2.4T-A95B
  • Day 0 Support for Qwen 3.8 on AMD Instinct GPUs
  • Serve Qwen3.8-2.4T-A95B on NVIDIA GB300 NVL72
  • Qwen3.8-Max: A New Bar for Coding and Cowork (Qwen Blog)
  • Kimi K3: Open Frontier Intelligence (Moonshot)
  • Hacker News 讨论: Qwen/Qwen3.8-2.4T-A95B

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Qwen3.8-Max 在编码智能体、通用智能体和通用能力等维度与 Opus4.8、Fable5、GPT5.6 Sol 的雷达图对比

    阿里发布 Qwen3.8-Max,计划开放权重并展示最长 16 天的自主任务

    2026-08-03

  • Qwen3.8-Flash-Next 官方发布横幅,展示模型名称与终极成本效率主题

    阿里开放 Qwen3.8-Flash-Next 权重,主打更低训练与推理成本

    2026-08-26

  • Kimi K3 模型发布视觉主图

    Kimi K3 开放模型权重,完整文件约 1.56TB

    2026-07-27

  • Qwen Studio 产品界面截图,展示阿里云通义千问 AI 助手
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

林俊旸离职后,Qwen 3.7 未开放权重引发社区担忧

2026-06-26

  • 科大讯飞与讯飞星火标识下方写有‘星火 X2.5 正式发布’的蓝色发布海报

    星火 X2.5 上线:293B-A30B 与 1.6 元 API 价分别说明什么

    2026-09-07

  • DeepSeek V4 系列模型性能基准对比图,包含 V4-Flash、V4-Pro 与 Opus、GPT、Gemini 等前沿模型的多维度比较

    DeepSeek V4 Flash 社区适配提速,量化与推测解码降低本地部署门槛

    2026-08-04