8 月 12 日,阿里把 Qwen3.8-2.4T-A95B 的权重放上了 Hugging Face 和 ModelScope,兑现了 8 月 3 日发布 Qwen3.8-Max 时"下周开源"的承诺。这是 Qwen 首次把 Max 级模型开放权重,规模也足够醒目:2.4 万亿总参数、每 token 激活 95B、512 个路由专家、92 层混合注意力。不过,部署这套模型仍有较高门槛:官方只发布了 BF16 和 FP8,其中 BF16 权重就有 4.45 TiB,在 B300 或 MI355X 配置下需要 3 台 8 卡节点才能装下;把它压进单节点的 4-bit 路径,要靠 AMD、NVIDIA 和社区来完成,而发布方没有给出量化后的完整能力证据。
开放版只接收文本,与 Max API 的配置不同
先厘清口径。Qwen 模型卡写的是"Qwen3.8 首次把 Qwen-Max 级模型开放",不是"最大的开源模型"。这里需要区分模型规模与开放范围。
其一,按参数规模,Moonshot 的 Kimi K3 已在 7 月底以 2.8T 参数开放权重,成为更大的开放权重模型,Qwen3.8 的 2.4T 排在后面。
其二,开放权重的 A95B 并不是 API 上 Qwen3.8-Max 的完整镜像。模型卡明确区分:Qwen3.8-Max 是基于 A95B 的官方版本,额外带有视觉输入、可关闭的思考模式、默认 1M 上下文和内置工具;而 A95B 是纯文本、强制思考、不支持多模态输入、原生上下文 262K。HN 上多条评论注意到这个落差——"开源版本把视觉能力去掉了,上下文也砍到 250K"。所谓"Max 级开源",开放的是主干推理能力;视觉输入、内置工具和更长的默认上下文,是 Max API 版本的额外配置。
稀疏专家减少计算量,混合注意力降低长上下文开销
A95B 通过两个设计,降低 2.4T 模型的计算和缓存开销。
一是细粒度 MoE。512 个路由专家中,每个 token 只激活 10 个,外加 1 个共享专家,实际参与计算的参数量只有约 95B,单次计算不必用到全部 2.4T 参数,但所有权重仍需存储。作为对照,Kimi K3 是 896 个专家激活 16 个,DeepSeek V4 Pro 是 1.6T 总参、49B 激活。
二是混合注意力。92 层里只有 23 层跑全注意力(间隔为 4),其余 69 层用线性注意力,把随序列长度增长的 KV 缓存替换成有界的循环状态。NVIDIA 的技术博客解释,这套结构以线性注意力层的有界状态,缓解上下文增长带来的计算与显存开销,支撑了把原生 262K 扩展到约 1M 的能力。模型还内置了 MTP 草稿头,用于加速解码。
因此,理解 2.4T 模型的部署成本,需要同时看总权重大小、每次激活的参数量,以及长上下文的缓存开销。
4-bit 可在部分高端单节点运行,能力验证仍不充分
具体需要多少硬件,可以看部署配置。vLLM 的部署矩阵把四种精度配置的单节点可行性列得很清楚:
| 精度 | 权重大小 | 8×B300 | 8×MI355X | 8×H200 |
|---|---|---|---|---|
| BF16 | 4.45 TiB | 3 节点 | 3 节点 | 6 节点 |
| FP8 | 2.27 TiB | 2 节点 | 2 节点 | 4 节点 |
| MXFP4(AMD) | 1.45 TiB | — | 1 节点 | 2 节点 |
| NVFP4 W4A4(NVIDIA) | 1.32 TiB | 1 节点 | — | 2 节点 |
在表中的 B300 和 MI355X 配置下,装入单节点需要进行 4-bit 量化。而这一步并不在 Qwen 的官方发布里:Qwen 只放出了 BF16 和 FP8,单节点的 MXFP4 与 NVFP4 构建由 Inferact 账号提供,AMD 的文章用 Quark 从 FP8 检查点做 MXFP4 量化,NVIDIA 走 NVFP4 W4A4。这与 Kimi K3 形成反差——Moonshot 从 SFT 阶段就做量化感知训练,发布即 MXFP4,权重约 1.5 TB;Qwen 则是在发布后由第三方提供量化版本。
HN 上最集中的担忧因此不是"模型好不好",而是"它比 K3 更难服务":没有 QAT 的 4-bit,第三方服务商要么用 FP8 跑多节点,要么等有人用足够的校准数据做出可靠的 NVFP4,评论里点名的正是 NVIDIA。
精度证据同样薄弱。AMD 的文章给出的是 MXFP4 在 GSM8K(小学数学题)上的准确率 97.49%,与 FP8 持平;NVIDIA 给出的 FP8 在 GB300 NVL72 上的吞吐是单卡 4K+ tok/s、单用户 350+ tok/s。但单项小学数学测试,还不足以证明 4-bit 不影响编码或长程 Agent 能力。模型卡上的完整基准表全部来自 Qwen 自测,发布时没有独立第三方评测;HN 上"这张卡好得不像真的"的评论,反映了部分社区用户对自报数据的疑虑。
Qwen 扩大权重开放范围,实际部署效果还需检验
抛开部署门槛,这次发布本身是一个战略转向。过去 Qwen 的 Max 系列只通过 Qwen Cloud 的 API 提供;把 Max 级权重开放,意味着阿里在"开放权重 + 云推理"双轨上同时押注,吸引研究社区和第三方部署支持,包括 vLLM、SGLang、TokenSpeed,以及 AMD、NVIDIA 的 Day 0 支持。
近期,中国三家实验室的超大开放模型各有进展:DeepSeek V4 Pro(1.6T-A49B,MIT 许可,4 月已开放权重)的 0813 版本被社区传为基准接近 Fable 5 水平,但成绩尚待核实;Kimi K3(2.8T)7 月底开放权重;Qwen3.8(2.4T)补上"Qwen 首个 Max 级开源"的位置。三条路径不同——DeepSeek 走小激活的高效 MoE,Moonshot 走 2.8T 的规模上限,Qwen 走 512 专家的细粒度稀疏——共同点是开放大模型权重,让第三方能够研究和部署。
对大多数想真正用起来的人,更实际的节点在两天后:社区与 HN 评论都提到 Qwen3.8-27B 版本预计周五发布。若如期发布,较小的模型可能降低本地部署门槛,具体仍要看最终规格。2.4T 的 A95B 则展示了更大模型的部署条件:2.4T 参数可以量化装入部分高端单节点,但量化后能否保持各项能力,还需要 AMD、NVIDIA 和社区提供更完整的验证。

