8 月 26 日盘后，Nvidia 发布 2027 财年第二季度财报，营收同比翻倍，但市场反应平淡，投资者仍担忧 GPU 竞争加剧。随后，有报道从整套系统的效率重新解释 Nvidia 的竞争优势。8 月 29 日，TechCrunch 的 Russell Brandom 在访谈 Nvidia 团队后提出，随着 AI 数据中心进入吉瓦（GW）级规模，除了提高 GPU 速度，如何让数据在整套系统中高效传输，也越来越影响竞争。
GPU 要少等待，数据就得及时送达
在单机时代，把更多晶体管塞进一张加速卡就能换来更多算力。但到了 GW 级数据中心，峰值算力已不足以解释实际性能，数据在芯片、内存、网络和存储之间的传输效率同样重要。Nvidia 在技术博客中这样描述：AI 工厂的「计算单元」不是一台 GPU 服务器，而是整个数据中心；「即便是很小的低效，乘上数万亿 token 也会侵蚀成本与吞吐」。
这个瓶颈有两个直接来源。其一是 KV cache（键值缓存）——模型生成每个 token 时都要回看之前所有 token 的状态，长上下文和 agent 的多步推理让这份状态快速膨胀，装不进昂贵的 HBM，就只能在 GPU 与存储之间来回搬运。其二是 MoE（混合专家）模型的 all-to-all 通信：token 每步都要在分布在不同 GPU 上的「专家」之间路由，通信一旦拥堵，GPU 就空转。Nvidia 存储技术副总裁 Jason Hardy 说得更朴素：「单台服务器里能放的内存是有限的。」问题于是变成：在内存有限的前提下，怎么让数据在正确的时间到达正确的地方。
Vera Rubin 如何分担数据调度、推理和缓存存储
Nvidia 在 GPU 之外加入专门处理数据调度和推理环节的芯片，并将它们组合成 Vera Rubin 平台。
最核心的是 Vera CPU。Nvidia 将它定位为承担更多数据处理工作的「数据引擎」：88 个自研 Olympus 核心、与 Rubin GPU 之间 1.8 TB/s 的 NVLink-C2C 一致内存通道、最高 1.5 TB 的 LPDDR5X 内存，专门承担数据搬运、调度、编排和 agent 沙箱这类控制密集的工作。Nvidia 的说法是，过去这类工作在 x86 CPU 上成为瓶颈，Vera 则让「编排和数据处理的吞吐随核心数线性扩展」。
另一块是 Groq 3 LPX 机架，一个专门做低延迟推理的加速器。它源自 Nvidia 2025 年 12 月与 AI 芯片公司 Groq 达成的一笔约 200 亿美元非排他技术授权——这是 CNBC 当时报道的价格，两家公司均未确认。LPX 把 256 颗基于 Groq LPU（语言处理单元）架构的芯片装进一个机架，靠 40 PB/s 的片上 SRAM 带宽，用「注意力-FFN 分离」（AFD）把 decode 环节拆开：Rubin GPU 处理对 KV cache 的注意力计算，LPU 处理对延迟最敏感的 FFN/MoE 部分，中间结果逐 token 在两者间交换。Nvidia 称，这套组合相对上一代 GB200 NVL72 可带来「每兆瓦最高 35 倍」的推理吞吐提升。
再往下还有一层存储：BlueField-4 DPU 配合 ICMS（推理上下文内存存储），在 GPU 内存与传统存储之间增加一个以太网连接的闪存层，用来保存 KV cache。Nvidia 称这能带来「最高 5 倍 token/s 与 5 倍能效」。谈到这些存储操作时，Hardy 表示——「我们看到这些操作有超过 3 倍的提升，Vera CPU 让加速成为可能……现在我们能把闪存用到极致」。
上述 3x、35x、5x 均来自 Nvidia，衡量的对象也不同。3x 出自高管访谈、无独立验证，且指的是存储/编排操作的加速，不是整机推理性能。
OpenAI 尽量把模型状态留在本地，减少数据搬运
面对同一个问题，OpenAI 选了另一条路。它 8 月 25 日公布的首颗自研推理芯片 Jalapeño（与 Broadcom 合作）强调的设计目标是：「我们设计 Jalapeño 就是为了最小化数据移动和通信延迟。」做法是给芯片一个足够大的「域」，让整个负载——包括 KV cache——留在同一个相连系统内，把模型状态显式放置并保持本地，而不是在芯片之间搬运。
Jalapeño 的性能结果也由 OpenAI 自行公布：在 SemiAnalysis 的 InferenceX 基准上，相对 Nvidia 的 GB200/GB300，它每瓦吞吐高 1.5 到 1.9 倍、端到端延迟低 1.7 到 3.6 倍。芯片额定 700 瓦，实测持续功耗不高于 550 瓦。OpenAI 明确说，它更愿意用「每瓦」而非「每芯片」作为比较标准。
两者的侧重点有所不同：Nvidia 组合不同类型的芯片，用专用组件提高数据调度效率；OpenAI 则尽量把模型状态留在相连的系统内，减少需要搬运的数据。两条路线都把数据移动视为提高推理效率必须解决的问题。
系统效率能否形成优势，还要看实际部署
Brandom 认为，整套系统的数据调度能力可能成为 Nvidia 的新优势。Vera Rubin 与 Jalapeño 的设计都支持一个观察：厂商正在扩大到系统层面展开竞争。不过，这还不足以证明 Nvidia 已形成新的持久优势。造出一颗对标 Rubin 的 GPU，不再等于能造出一个高效运转的 GW 级数据中心。
在系统效率上，Nvidia 也要与自研芯片的超大规模厂商竞争——Amazon、Google 都在加码自研，而 OpenAI 用 Jalapeño 证明「最小化移动」也是一条可行的技术路线。OpenAI 在 Jalapeño 的发布里还留了一句：「我们会继续大规模部署 Nvidia 及其他伙伴的加速器」——可见 OpenAI 在现阶段仍计划同时使用自研芯片和伙伴的加速器。
判断这条竞争走向，要看三个尚未落地的变量：Vera Rubin 平台在真实部署中的利用率能否兑现 Nvidia 给出的这些数字；Jalapeño 年底上线后能否经得起独立基准检验；以及 Amazon、Google 等厂商是否会在自研芯片之外，进一步投入系统数据调度。这些结果将帮助判断，Nvidia 的系统方案究竟能带来多大的实际优势。
