AI 推理的瓶颈有时出在数据搬运：计算单元等待模型权重和缓存从内存传入，即使增加算力，也难以同比提高生成速度。这类算力与内存访问能力不匹配的问题通常被称为「内存墙」（Memory Wall），在部分逐 token 生成场景中尤其突出。
2026 年 6 月 24 日，Qualcomm（高通）在纽约投资者日发布数据中心品牌 Dragonfly，并介绍了 HBC（High Bandwidth Compute，高带宽计算） 架构。它将专用计算加速器堆叠在 LPDDR 内存下方，通过 3D 垂直互联缩短数据路径，试图降低推理的数据搬运开销。
Qualcomm 执行副总裁兼数据中心业务总经理 Tony Pialis 用上下楼解释这一设计：「想象你住在上班的同一栋楼里，只需要上下楼就行。那些连接郊区和市区的公路和高速公路呢？猜怎么着——路面全清了。」
逐 token 生成既需要带宽，也需要内存容量
HBC 主要针对带宽受限的推理负载，智能体的多次模型调用进一步增加了这类需求。
Forbes 分析师 Steve McDowell 援引的估计认为，一次智能体任务产生的推理请求可能是普通提示词的 50–100 倍，具体取决于任务流程。在大语言模型的 decode（逐 token 生成）阶段，每一步都要访问模型权重和缓存。尤其在低批量推理时，计算单元可能花费较多时间等待数据，因而受到内存带宽限制。
与此同时，HBM 供给持续紧张。据 TrendForce 当时的预测，2026 年 HBM 需求将同比增长 70%；主要供应商的当年产能已被大量预订，客户也在提前谈判 2027 年的配额。CNBC 年初报道，Majestic Labs 等 AI 芯片公司正在采用成本更低的替代内存方案。
在这一背景下，Qualcomm 选择以 LPDDR 支持推理，减少对 HBM 及其配套封装产能的依赖。
HBC 将计算单元与 DRAM 垂直堆叠
HBC 的主要变化在于计算单元的位置，以及数据在封装内部如何流动。
许多采用 HBM 的 AI 加速器将计算芯片与内存堆栈并排放在封装内，通过硅中介层等互联结构连接。数据需要在计算 die 与内存 die 之间传输，增加了功耗和散热负担。
HBC 将部分 AI 计算单元从主 SoC 中分离，通过硅通孔（TSV）与上方 LPDDR 内存堆栈连接，整体采用 2D 有机基板封装。按照 Qualcomm 公布的设计，这一方案无需使用传统 HBM 封装常见的硅中介层。
这一设计主要改变了三件事：
- 缩短数据路径：计算单元与内存垂直堆叠，减少数据在计算芯片与内存之间横向传输的距离。
- 近存计算减少搬运量：带宽密集型操作在靠近内存的基 die 上完成，只有结果需要传输回主 SoC，从而实现 Qualcomm 所称的「有效带宽放大」。
- 用 LPDDR 替代 HBM：利用 LPDDR 的成本、容量和既有供应链优势，服务对内存容量敏感的推理场景。
按 Qualcomm 将已公布竞品规格归一化后的估算，HBC 的带宽/瓦目标为 HBM 方案的 6 倍，比较基于卡级规格；容量/瓦目标为 SRAM 方案的 200 倍，比较基于机架级规格。公司还将 decode 扩展能力列为设计目标。这些是产品规格与能效估计，尚非第三方实测结果。
「有效带宽」不能直接当作外部接口带宽
理解 Qualcomm 的数字，需要先区分它所说的「有效带宽」与内存对外传输的物理带宽。
以 AI250 加速器为例，Qualcomm 宣称每卡提供 768 GB 内存容量和高达 133 TB/s 的「有效」内存带宽。作为对比，Nvidia 的 Groq 3 LPU 仅提供 500 MB SRAM 和 150 TB/s 带宽。
The Register 的 Tobias Mann 对此提出了尖锐质疑：Qualcomm 此前对基于 LPDDR5X 的 AI200 系统宣称 414 TB/s「有效」带宽（56 颗芯片合计），但要仅靠 8800 MT/s 的 LPDDR5X 实现这一数字，需要一颗芯片配备 6720 位宽的总线——这几乎不可能。
据 The Register 报道，Qualcomm 将 AI200 的数字解释为 LPDDR 接口的物理带宽，但未提供足够实现细节。AI250 则引入了 HBC：带宽密集型操作在内存近端完成，部分数据无需全部搬回主 SoC。不同产品与架构下的数字，需要结合计算发生的位置、传输量和工作负载来比较。
133 TB/s 的有效带宽与 SRAM 的 150 TB/s 不能仅按数值大小判断优劣。除了容量和能耗，还要看指定模型在相同延迟要求下能够生成多少 token。
HBC 重点服务带宽受限的 decode 阶段
Qualcomm 将 HBC 定位于带宽密集型计算，而非要求它独立承担所有 AI 工作负载。
Tony Pialis 对 The Register 表示，AI250 可以作为独立 AI 加速器使用，但它「高度优化于解决带宽瓶颈」。其重点是 decode 阶段中反复读取活跃权重和缓存的操作。将这部分计算移近内存，有机会减少数据搬运，但具体收益取决于模型、批量大小和推理配置。
Qualcomm 因此瞄准分离式推理：由 GPU 或其他加速器处理相对计算密集的 prefill 阶段，再由 AI250 等设备处理带宽受限的 decode，两者按负载配比。智能体流程可能反复调用模型，这使每次生成的成本更加重要，同时也要求系统控制不同设备之间的数据传输开销。
Qualcomm 给出了相对 GPU 架构约 4–8 倍的每瓦性能估计，其官方说明采用每卡带宽/瓦口径，不能直接等同于所有模型都能多生成 8 倍 token。Forbes 分析师 Steve McDowell 则认为，推理成本的重要性上升，为 Qualcomm 的低功耗计算、系统集成和连接技术提供了机会。
AI250 计划 2027 年中送样，后续还有加速器和 CPU
HBC 属于 Qualcomm 多代数据中心产品规划的一部分，按公布的路线图：
AI200（2026 年下半年出货）：基于 LPDDR5X，每 rack 提供 43 TB 内存，是 Dragonfly 加速器家族的起点。
AI250（预计 2027 年中商业送样）：首个集成 HBC Gen1 的产品。每卡 768 GB 内存、133 TB/s 有效带宽，后者是 AI200 的 18 倍。送样后还需经过客户验证。
AI300（预计 2028 年商业送样）：搭载 HBC Gen2。公布的有效带宽目标为 AI200 的 54 倍，路线图列出的带宽/瓦目标为 HBM 的 7 倍。支持 UALink 和 ESUN 进行 scale-up，并以铜缆和光互联进行 scale-out。
Dragonfly C1000 CPU（预计 2028 年商用）：基于自研 Oryon 架构，250+ 核心、5 GHz 以上频率，面向 Agentic AI 编排和通用服务器负载。Meta 已签署多代际 CPU 采购协议。
除了 Meta 的 CPU 订单，Microsoft CEO Satya Nadella 也确认 Azure 将部署 HBC 芯片。两家超大规模客户的早期合作，加上超过 35 家生态系统合作伙伴（包括 Arista、Lenovo、Micron、Samsung SDS、SK hynix、Supermicro、VAST Data 等）的支持，为产品开发提供了客户和供应链支持。
Qualcomm 同步宣布拟收购 Modular——由 LLVM 和 Swift 的主要创始人 Chris Lattner 联合创立的 AI 软件公司。Modular 的 Mojo 编程语言和 MAX 推理服务平台提供了一种跨硬件（Nvidia、AMD、Qualcomm）的统一软件栈，Qualcomm 希望借此支持混合硬件部署，降低客户迁移软件的成本。
近存计算还有 HBM、PIM 与其他堆叠方案
将计算移近内存，还有多种技术路线，HBC 并非唯一尝试。
Nvidia 拥有最成熟的 GPU + HBM 体系，也在应对 HBM 供应和系统功耗限制。据 TrendForce 报道，Nvidia 和 AMD 据传都在与 HBM 供应商和台积电合作开发定制化的 HBM 基 die，可能集成有限的计算能力——但这目前仍处于早期阶段。
三星和 SK 海力士 在推动 PIM（Processing-in-Memory，内存内处理）路线：将计算引擎集成到内存 die 内部，执行部分运算。SK 海力士的 AiM 加速器已经在实际应用中部署。将计算功能加入内存，需要在工艺、标准化生产、成本与良率之间作取舍。
d-Matrix 和 GUC：前者在开发使用 3D 堆叠 DRAM 的近存计算加速器；后者的 DRAM-on-Logic（DoL）技术可在逻辑层上放置 1–4 层 DRAM，实现约 5 TB/s 的内存带宽。
Qualcomm 的差异在于选择 LPDDR 和有机基板封装，希望利用消费电子供应链中已有的产能，减少对 HBM 和 CoWoS 等封装资源的依赖。不过，HBC 自身的堆叠、连接与量产仍需建立相应工艺能力。
Forbes 提到，Qualcomm 每年使用超过一百万片先进制程晶圆。公司官网还强调了超过四百亿颗元器件的累计工程经验。这样的采购和工程规模有助于其协调供应商，但 HBC 新产品的良率和交付能力仍需在量产中验证。
散热、算力披露和交付时间仍待验证
HBC 的实际竞争力还取决于几项尚未充分披露的结果。
热管理：将计算单元堆叠在 DRAM 下方，会改变热量的传导路径。DRAM 对温度敏感，高温可能要求提高刷新频率，增加功耗并影响可用带宽。针对低算术强度操作的设计有助于控制计算开销，但不能据此认定散热问题已经解决。
峰值算力与实测数据：The Register 询问 AI250 和 AI300 的峰值算力后未获得具体数字。FLOPS 可帮助理解计算上限，但评价混合负载还需要端到端测试，包括吞吐、延迟、功耗及设备间通信成本。
执行时间线：AI250 要到 2027 年中才送样，AI300 和 C1000 更是要等到 2028 年。而在这两年间，Nvidia 的 Rubin 平台、AMD 的下一代 MI 系列以及各家超大规模企业的自研芯片都将迭代——Qualcomm 当前的宣传优势能否保持到产品真正上市，仍有不确定性。
指标的可比性：有效带宽依赖计算与数据传输方式。客户需要在相同模型、精度、批量和延迟目标下测试 HBC 与其他设备，才能判断规格优势是否转化为更低的推理成本。
能否降低推理成本，要看产品交付后的表现
HBC 体现了 Qualcomm 进入数据中心市场的思路：通过调整计算与内存的位置，降低数据搬运开销，再将加速器、CPU、连接芯片和软件组合成系统。
Qualcomm 为数据中心业务设定了 2029 财年 150 亿美元营收目标。HBC 是其中一条产品路线，目标的实现还取决于定制芯片、连接业务、CPU 与软件的共同进展。
2027 年 AI250 送样后，客户可以开始检验其带宽、能效和 decode 扩展表现。如果这些优势能在实际模型和延迟约束下兑现，就有望降低部分推理负载的成本。
反之，如果散热、软件或设备通信抵消了近存计算的收益，较高的规格数字也难以转化为订单。产品需要证明的是完整系统的运行效果。
在 HBM 供给紧张、智能体推理需求增长的背景下，HBC 提供了一条不同的内存与计算组合方案。它能覆盖多大的市场，将由交付进度和客户验证决定。
