NVIDIA 在 6 月底公布了一组令人不安的数据：在 Blackwell 平台上，DeepSeek V4 的推理 token 成本在约一个月内降至原来的五分之一。每百万 token 的成本从 $0.30 跌到 $0.06。没有更换任何硬件。所有增益来自软件层的持续优化。
这意味着一个反直觉的结论正在成为行业现实：买 GPU 只是首付。真正决定 AI 推理经济性的，是硬件部署后软件栈的迭代速度。
一个月，5 倍：数字意味着什么
SemiAnalysis 公共平台 InferenceX 的数据清晰呈现了这条下降曲线。在 GB300 NVL72 分离式部署环境下，通过 SGLang 和 NVIDIA Dynamo 推理框架的持续优化，DeepSeek V4 Pro（FP4 精度、8K 输入/1K 输出）的吞吐量从 Day-0（2026 年 4 月）的约 2,200 tok/s/GPU 提升至 6 月的约 11,200 tok/s/GPU，增长恰好 5 倍，且用户可感知的交互延迟并未恶化。
这不是某一项优化的单独功劳。SGLang 与 NVIDIA 团队在 PyTorch 博客中详细拆解了 Day-0 之后的所有关键变更：MHC（Multi-Head Compression）路径的 kernel 融合、KV Compression V2 压缩内核、W4A4 MegaMoE 量化路径（将 MoE 激活也从 MXFP8 推进到 MXFP4）、SWA（滑动窗口注意力）显存预算的精确化、分离式解码的准入控制优化、可中断 CUDA Graph 对 prefill 路径的覆盖——以及最重要的一类：bug 修复。
一个典型案例：一行将 fp8_einsum 输入 scale 转换为 ue8m0 的修复，本身是正确性修补（修复 Blackwell 上的 NaN），却意外将 MTP 推测解码的接受率从 0.57 提升至 0.70。在接受率提升的驱动下，整个 MTP 推测路径的吞吐量随之跃升。
而当这些优化叠加在一起时，效果是复合的。NVIDIA 给出了一张「优化叠加」图：分离式服务（Disagg）、大规模专家并行（Large EP）、NVFP4 精度、多 token 预测（MTP）——每一项单独贡献若干倍提升，组合后累计吞吐量增益可达 20 倍。
软件栈的三层引擎
NVIDIA 将其推理软件栈分为三个协同工作的层次：
生产运维层（Production Operation）：负责分布式服务协调、编排、自动扩缩容和显存管理。Dynamo 框架在这一层发挥作用，使 Cognition 等公司可以直接将其用于管理推理 GPU 集群，省去从零搭建强化学习基础设施的工程成本。
应用加速层（Application Acceleration）：通过 TensorRT-LLM 等运行时优化，实现计算与通信重叠、kernel 融合等。Baseten 在这一层叠加自研优化后，DeepSeek V4 Pro 的每秒 token 产出再提升 50%。
基础设施访问层（Infrastructure Access）：通过 CUDA 暴露 GPU、网络、显存和系统能力，开发者无需直接管理设备指令或数据传输协议。PyTorch 自 2016 年起以 CUDA 原生支持起步，Transformer Engine、NVFP4 等新特性可直接通过熟悉接口调用。
三层联动使每一项优化都能传导到其他层。内核融合减少了显存带宽压力，显存预算优化让解码端可以维持更大的批次，更大的批次又让 FP4 量化 MoE 的效率优势更明显——这是一个不断自我强化的飞轮。
开源飞轮：vLLM、SGLang 与「Day-0 可用」
上述软件栈之所以能在一个月内就交付 5 倍提升，一个重要前提是 DeepSeek V4 发布当天就已在主流开源推理框架中可用。
这不是偶然。vLLM 和 SGLang 均在 CUDA 上原生构建，DeepSeek V4 模型权重公开后，NVIDIA 即在开发者博客发布了 Day-0 部署方案（deployment recipe），覆盖从 NIM 容器到不同延迟/吞吐量目标的三种 SGLang 配置。数百万块已部署的 Blackwell GPU 可以在第一时间运行该模型。随后，整个开源社区在 vLLM、SGLang、Dynamo 上的每一次 commit，都在持续压低同一批硬件的单位 token 成本。
Together AI 使用 TensorRT-LLM 在 Blackwell 上帮助 Cursor 加速从模型优化到生产端点的路径。Deep Infra 从 Day-0 起就用 NVIDIA 推理软件栈服务前沿开源模型。DigitalOcean 利用同一软件栈帮助 Hippocratic AI 将推理吞吐量提升 30%，同时在 1000 万次患者通话中维持亚半秒的首次响应延迟。
这些案例共同指向一个事实：NVIDIA 的推理护城河，不只在于 GPU 硬件，还在于围绕 CUDA 构建的开源软件生态——以及这个生态持续压低 token 成本的能力。
推理经济学：如果成本每月都在降
一个月 5 倍的降幅带来了一个定价层面的难题。如果同样的硬件、同样的模型，token 成本可以在几周内因为软件迭代而降至五分之一，那么推理服务提供商该如何定价长期合约？云厂商又该如何向客户承诺成本？
NVIDIA 显然意识到了这一点，其叙事重心已从「峰值算力」转向「每美元、每瓦特可交付的有用 token 数量」。但这一转变同样意味着：AI 推理的单位经济模型不再是一个固定参数，而是一个持续移动的目标。
对于那些已经签下大额长期 GPU 租约的企业——或正在筹备 IPO、需要展示可预测收入的 OpenAI 和 Anthropic——持续下降的推理成本是双刃剑。它可以扩大市场需求、让更多应用变得经济可行；但它也在不断侵蚀已有部署的竞争壁垒。
另外，如果软件优化的天花板远未到来（从目前 20 倍的累计增益量级来看，这显然是事实），那么推理成本下降对 AI 应用层的影响可能远超预期。当 API 成本从每百万 token 几美分继续下探时，那些依赖高推理成本作为定价锚的商业模式将需要重新计算。
硬件只是起点
NVIDIA 此次传递的核心信息并不复杂：Blackwell 硬件是基础，但真正的成本竞争力来自软件。TensorRT-LLM、Dynamo、vLLM、SGLang 以及 PyTorch 生态的每一行优化代码，都在让相同一块 GPU 产出更多可用的 token。
对于那些正在评估 AI 基础设施采购策略的企业，这个故事的启示是：不应仅比较硬件的纸面规格，而应关注硬件+软件栈作为一个整体系统在多长时间内能持续降本。在这方面，NVIDIA 借助 CUDA 生态的开源飞轮，给自己建立了一道软件维度的护城河——这道护城河的深度，可能比它在制程工艺和晶体管数量上的领先更难被追赶。