AI 推理服务商 Wafer 于 7 月 31 日公布了在 AMD MI355X 上运行 Kimi K3 的完整 benchmark 数据。在 1,024 token 输入、400 token 输出的测试条件下，单节点 8×MI355X（TP8）达到 952 tok/s 聚合吞吐和 118 tok/s 单流解码，每 GPU 小时的每美元性能为 48 tok/s/$——是 B300（33 tok/s/$）的 1.45 倍，B200（7 tok/s/$）的 6.9 倍。
显存容量是解释部署差异的重要因素，租价则直接影响每美元吞吐。Kimi K3 是月之暗面发布的开源 MoE 模型，总参数 2.8 万亿，激活约 1,030 亿参数/Token。模型权重约 1.56 TB，推理还需要 KV cache 等运行时空间。按本次精度与配置，权重与为 1M token 上下文预留的 KV 缓存无法同时放入由 8 张各有 192GB HBM 的 B200 组成的节点，因此测试采用跨两台节点的 TP16 部署，每一步解码都增加了跨节点 all-reduce 的通信延迟。而 MI355X 的 288GB HBM3e 允许 K3 在单个 8 GPU 节点内完成推理，省去了跨节点通信瓶颈。
这是 Wafer 继 7 月在 MI355X 上运行 GLM5.2（753B 参数，2,626 tok/s/node）之后，第二次用 AMD 硬件挑战 NVIDIA 的推理性价比优势。但与 GLM5.2 那次不同，K3 的规模使单节点能否容纳权重成为重要约束，再进一步影响速度和成本。
MI355X 租价较低，B300 的绝对吞吐更高
Wafer 公布的三组配置对比，同时反映了部署方式、吞吐和租价的影响：
| 指标 | 8×MI355X TP8 | 2×8 B200 TP16 | B300 TP8+DCP8 |
|---|---|---|---|
| 单流 decode (tok/s) | 118 | 90 | 172 |
| 峰值聚合 (tok/s) | 952 | 498 | 1,568 |
| 每 GPU 聚合 (tok/s) | 119 | 31 | 196 |
| 每美元性能 (tok/s/$) | 48 | 7 | 33 |
价格假设：MI355X $2.50/GPU-hr，B300 $6.00/GPU-hr，B200 $4.25/GPU-hr。数据来自 Wafer 引用 GPUs.io 的实时定价。
本次 B200 配置每 GPU 聚合吞吐为 31 tok/s，跨节点部署是影响结果的因素之一，不能仅用这一数字判断芯片的普遍性能。跨节点 TP16 意味着 decode 每一步都要走 RoCE v2 网络做 all-reduce，实际可用带宽约 195 Gb/s，远低于 NVLink 域内的 GPU 间通信。这一通信开销会出现在模型的逐步解码过程中。
B300 的情况更值得琢磨。NVIDIA 将 B300 的 HBM 从 B200 的 192GB 提升到 288GB——与 MI355X 持平——使相同规模模型有机会在单节点部署。B300 在绝对吞吐上仍领先 MI355X 约 65%（1,568 vs 952 tok/s），但价格差距更大：按 Wafer 引用的价格，B300 每 GPU 小时约 $6.00，是 MI355X $2.50 的 2.4 倍。这个价差使 MI355X 在每美元吞吐上反超。
需要指出的是，价格数据存在波动。GPUs.io 在 8 月初显示 MI355X 最低约 $2.95/GPU-hr（TensorWave），B300 最低约 $5.63/GPU-hr（Vast.ai 等）。按这些更保守的市场价格计算，MI355X 的每美元优势会缩窄但仍成立。Wafer 引用的是这组测算价格，不代表所有采购方都能复现同一性价比。
两处软件修复改善推测解码和长输入处理
Wafer 还公布了两处适配细节。与半年前在 MI355X 上跑 Qwen3.5 397B 时需要从零编写自定义内核不同，这次问题集中在采样函数缺失和注意力内核的形状支持。
Speculative decode 修复：K3 本身不提供原生的推测解码（无 MTP、无 EAGLE），Wafer 使用 RadixArk 的开源草稿模型 Kimi-K3-DSpark。在 ROCm（AMD 的 GPU 编程平台）上首次请求即崩溃——sglang 的 accept-sampling 验证器找不到 top_k_renorm_prob 函数，因为 ROCm 构建中只提供了 top-p 重归一化核，遗漏了 top-k 版本。修复不涉及编写新内核：用 PyTorch 原语（sort → masked_fill → divide）实现了等价计算直接嵌入 sglang 的 ROCm 采样分支。
修复后，推测解码使单流吞吐达到原来的约 2.2 倍，中等负载吞吐达到约 1.7 倍，峰值聚合吞吐增加 18%。
MLA prefill 加速：K3 的 Gated Multi-head Latent Attention（MLA）层在冷启动 prefill 时是性能瓶颈。MI355X 上 172K token 冷 prefill 需 51 秒，而 B300 仅需 23 秒——差距超过 2 倍。问题出在 AMD AITER 快速 MLA prefill 内核的形状不匹配：K3 在 TP8 下每 rank 分配 12 个 attention head，但该内核只支持 4 个、8 个，或 16 的整数倍个注意力头。修复方式是用零填充把 12 补齐到 16，运行快速内核后再提取真实的 12 个 head。
修复后，MLA prefill 的内核吞吐从 4–7K tok/s 提升到约 13K tok/s，prefill 加速约 2–3 倍。
据 Wafer 介绍，两个修复都不到十行代码。这个案例表明，现有软件栈已提供了不少所需组件，但不能据此推断其他模型也只需少量适配。AMD 为 K3 提供了 day-0 部署支持（通过 ATOM 框架和 Docker 镜像），进一步降低了适配门槛。
长输入原需 51 秒，内核修复主要改善首字等待
每美元解码吞吐之外，首字等待时间（TTFT，Time to First Token）也需要单独比较。Wafer 报告的优化前结果是：MI355X 处理 172K token 冷输入需 51 秒。对于需要大段 prefill 的场景——比如长文档摘要、代码库级问答、RAG 中的全量库检索——用户感知的等待时间可能严重影响体验。前述内核修复让 prefill 加速约 2–3 倍，但文章未给出修复后的完整 TTFT 对比，不能继续将 51 秒视为优化后的结果。
在这组优化前的对比中，B300 处理相同 172K token 冷输入需 23 秒。Wafer 将差距主要归因于 MI355X 未调用快速 MLA 内核。对于长输入较多的任务，采购方还需比较优化后的首字延迟；解码吞吐的价格优势能否转化为整体体验优势，取决于延迟 SLA 和用户对价格的敏感度。
性价比优势取决于负载、租价和可用容量
Wafer 的数据点首先是一个工程信号：对于 2T+ 参数的超大规模 MoE 模型，HBM 容量会限制可选部署方式。在此次对比中，MI355X 能够单节点部署，相比需要两节点的 B200 配置减少了跨节点通信。
但它不是 AMD 已经「赢了」推理市场的证据。原因有三：
第一，数据来源单一。Wafer 自己是 MI355X 推理服务商，benchmark 条件（1,024/400 token）是受控的合成负载，非真实生产流量。没有独立第三方在相同硬件上用相同模型做过 head-to-head 验证。
第二，绝对性能仍落后。B300 在聚合吞吐上领先 MI355X 约 65%；优化前的 prefill 对比中，MI355X 耗时约为 B300 的 2 倍，修复后完整延迟仍需进一步比较。对于追求绝对响应速度、而非极致性价比的客户，本次 B300 配置更有吸引力，但这不等于其他场景都没有替代方案。
第三，供应量不透明。AMD 的 MI355X 实际出货量和云上可获得容量远不及 NVIDIA Blackwell 系列。采购方还需确认，在所需规模下能否获得相同价格和足够容量。
NVIDIA 已经在用 B300 的 288GB HBM 做出回应，预计 2026 年下半年 Rubin 平台将进一步推高容量门槛。AMD 的窗口期取决于它能否在 MI400 系列上延续容量优势，同时缩小 prefill 延迟和软件支持的差距。
还需用真实生产负载复测速度与成本
最值得观察的不是 Wafer 的 48 tok/s/$ 数字本身，而是接下来几个月中，是否会出现使用 MI355X 运行 K3 或同规模模型的第三方生产级 benchmark。如果独立数据能复现 Wafer 的性价比优势，且 prefill 延迟差距能在 AITER、sglang 和 vLLM 的后续版本中继续压缩，那么超大模型推理的硬件选型逻辑确实会从「默认 NVIDIA」转向需要实际算账的多供应商评估。在那之前，这组数据可以作为选型参考，结论应限于已披露的测试条件。
