NVIDIA 在 6 月底援引的测试显示，Blackwell 平台上 DeepSeek V4 的推理 token 成本在约一个月内降至此前的五分之一，每百万 token 从 $0.30 降到 $0.06。这一结果来自同一硬件平台上的软件优化，属于测试条件下的服务成本，不是对外 API 报价。
这说明，评估推理成本除了看硬件配置，还要考虑部署后软件能否继续提高利用率。
同一交互速度下，测试吞吐达到初版约 5 倍
SemiAnalysis 公共平台 InferenceX 的数据清晰呈现了这条下降曲线。在 GB300 NVL72 分离式部署环境下，通过 SGLang 和 NVIDIA Dynamo 推理框架的持续优化，DeepSeek V4 Pro（FP4 精度、8K 输入/1K 输出）的吞吐量从 Day-0（2026 年 4 月）的约 2,200 tok/s/GPU 提升至 6 月的约 11,200 tok/s/GPU，达到约 5 倍。该比较保持约 50 tok/s/user 的交互速度，初版未开启 MTP、6 月版本开启 MTP；它与前述约一个月的成本比较不是同一个时间区间。
这不是某一项优化的单独功劳。SGLang 与 NVIDIA 团队在 PyTorch 博客中详细拆解了 Day-0 之后的所有关键变更：MHC 路径的 kernel 融合、KV Compression V2 压缩内核、W4A4 MegaMoE 量化路径（将 MoE 激活也从 MXFP8 推进到 MXFP4）、SWA（滑动窗口注意力）显存预算的精确化、分离式解码的准入控制优化、可中断 CUDA Graph 对 prefill 路径的覆盖——以及最重要的一类：bug 修复。
一个典型案例：一行将 fp8_einsum 输入 scale 转换为 ue8m0 的修复，本身是正确性修补（修复 Blackwell 上的 NaN），却意外将 MTP 推测解码的接受率从 0.57 提升至 0.70。在接受率提升的驱动下，整个 MTP 推测路径的吞吐量随之跃升。
而当这些优化叠加在一起时，效果是复合的。NVIDIA 给出了一张「优化叠加」图：分离式服务（Disagg）、大规模专家并行（Large EP）、NVFP4 精度、多 token 预测（MTP）——组合后相对图中基线，吞吐量最高可达 20 倍；不能把这一示例当作每项优化都有数倍收益。
软件分工覆盖集群运维、模型加速和硬件访问
NVIDIA 将其推理软件栈分为三个协同工作的层次：
生产运维层（Production Operation）：负责分布式服务协调、编排、自动扩缩容和显存管理。Dynamo 框架在这一层发挥作用，使 Cognition 等公司可以直接将其用于管理推理 GPU 集群，省去从零搭建强化学习基础设施的工程成本。
应用加速层（Application Acceleration）：通过 TensorRT-LLM 等运行时优化，实现计算与通信重叠、kernel 融合等。Baseten 在这一层叠加自研优化后，DeepSeek V4 Pro 的每秒 token 产出再提升 50%。
基础设施访问层（Infrastructure Access）：通过 CUDA 暴露 GPU、网络、显存和系统能力，减少开发者直接处理设备指令和数据传输协议的工作。PyTorch 自 2016 年起以 CUDA 原生支持起步，Transformer Engine、NVFP4 等新特性可直接通过熟悉接口调用。
这些层次之间的优化也可能相互配合。内核融合减少了显存带宽压力，显存预算优化让解码端可以维持更大的批次，更大的批次又让 FP4 量化 MoE 的效率优势更明显。这些改进需要在完整部署中协调验证。
开源框架在发布当天支持运行，随后继续优化性能
DeepSeek V4 发布当天就已在主流开源推理框架中可用，为后续持续优化性能提供了起点。
vLLM 和 SGLang 均在 CUDA 上原生构建。DeepSeek V4 模型权重公开后，NVIDIA 即在开发者博客发布了 Day-0 部署方案（deployment recipe），覆盖从 NIM 容器到不同延迟/吞吐量目标的三种 SGLang 配置。这为数百万块已部署的 Blackwell GPU 提供了运行该模型的软件路径；具体部署仍需满足显存和系统配置要求。随后，社区在 vLLM、SGLang、Dynamo 上继续改进实现，其中有效的性能优化可以降低同一批硬件的单位 token 成本。
Together AI 使用 TensorRT-LLM 在 Blackwell 上帮助 Cursor 加速从模型优化到生产端点的路径。Deep Infra 从 Day-0 起就用 NVIDIA 推理软件栈服务前沿开源模型。DigitalOcean 利用同一软件栈帮助 Hippocratic AI 将推理吞吐量提升 30%，同时在 1000 万次患者通话中维持亚半秒的首次响应延迟。
这些案例表明，NVIDIA 的推理表现既依赖 GPU，也依赖 CUDA 周围的软件项目及其部署经验。持续更新的软件，是客户评估成本的一部分。
成本会随软件变化，长期合约仍需明确比较口径
约一个月内成本降至五分之一，引出了定价问题，但这一速度不能直接外推到以后每个月。如果同样的硬件、同样的模型，token 成本可以在几周内因为软件迭代而降至五分之一，那么推理服务提供商该如何定价长期合约？云厂商又该如何向客户承诺成本？
NVIDIA 也在强调「每美元、每瓦特可交付的有用 token 数量」。随着软件版本、负载和调度方式变化，单位推理成本需要持续测量，长期合同也需要说明使用哪套配置作为比较基准。
对于那些已经签下大额长期 GPU 租约的企业——或正在筹备 IPO、需要展示可预测收入的 OpenAI 和 Anthropic——推理成本下降可能产生不同影响。它可以扩大市场需求、让更多应用变得经济可行；也可能缩小不同部署之间原有的成本差距。
目前最高 20 倍的累计提升说明已有优化的作用，并不能证明未来仍有同样空间。若服务成本继续下降并传导到 API 价格，以高推理成本为定价依据的应用就需要重新核算收入和支出。
采购推理系统时，也要检验软件更新和实际负载表现
NVIDIA 此次展示的是软硬件协同的作用。TensorRT-LLM、Dynamo、vLLM、SGLang 以及 PyTorch 中有效的优化，可以让同一平台提供更多可用 token，但收益要在指定负载下测量。
对于那些正在评估 AI 基础设施采购策略的企业，这个故事的启示是：不应仅比较硬件的纸面规格，而应关注硬件+软件栈作为一个整体系统在多长时间内能持续降本。CUDA 生态中的软件支持和部署经验，是 NVIDIA 的一项竞争优势。企业仍应在自己的延迟要求、请求长度和并发条件下验证收益。
