SK 海力士与 SanDisk 发布高带宽闪存标准,拟扩充 AI 推理存储容量 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

SK 海力士与 SanDisk 发布高带宽闪存标准,拟扩充 AI 推理存储容量

2026-08-04 / 共 2,954 字

Wccftech / SK hynix

8 月 4 日,SK 海力士与 SanDisk 在 FMS 2026 上通过 OCP(Open Compute Project)发布了首个 High Bandwidth Flash 标准规格。这距离两家公司今年 2 月启动 HBF 标准化联盟仅六个月,距离 2025 年 8 月双方签署合作备忘录恰好一年。

HBF 旨在 HBM 和 SSD 之间增加一层高带宽闪存:用 NAND 闪存做 HBM 式的垂直堆叠封装,通过 UCIe 接口直连 GPU 或 CPU。其定位是在靠近处理器的位置存放更多 AI 模型权重,与 HBM 配合缓解容量不足。

堆叠 NAND 闪存,以 UCIe 连接处理器

HBF 的核心思路是用 NAND 的密度优势弥补 HBM 的容量短板。具体规格:单配置最高 512GB(8 层或 16 层 NAND die 堆叠),带宽分为三个等级,范围约为 0.4–3.0 TB/s。作为对比,当前主流的 HBM3E 单 stack 容量 24–36GB、带宽约 1.2 TB/s;一块 NVIDIA B200 GPU 搭载 8 个 HBM3E stack,总容量 192 GB,总带宽 8 TB/s。Sandisk 的目标是在带宽接近 HBM 的同时,提供其 8–16 倍的容量,以容纳更多模型参数。

HBF 之所以能将 NAND 的带宽推到 TB/s 级别,依赖 Sandisk 的 CBA(CMOS directly Bonded to Array)晶圆键合技术。传统 NAND 的 CMOS 控制电路和存储阵列在同一晶圆上制造,性能和密度互相妥协;CBA 将两者分开制造、再键合,控制电路可以用更先进的逻辑工艺追求 I/O 速度,存储阵列则独立优化密度。Sandisk 高级设计工程总监 Cynthia Hsu 对 SDxCentral 解释,这能"同时获得最好的单元性能和最好的 CMOS I/O 性能"。

标准还定义了 UCIe(Universal Chiplet Interconnect Express)作为 HBF 与处理器的互联接口。这意味着 HBF 不是通过 PCIe 或网络挂载的远端存储,而是与 GPU/CPU 在同一个 chiplet 互联体系内的近端内存——这一定位差异在与三星 CMX 方案比较时尤为关键。

大模型权重需要更多容量,逐 token 生成还受带宽限制

训练和推理都需要算力与内存;在逐 token 生成等推理场景中,内存容量与带宽往往尤其重要。对于一个 5000 亿参数的大模型,即使使用 FP8 精度,仅模型权重就需要约 500 GB 存储。一块 B200 的 192 GB HBM3E 远远不够;跨多块 GPU 做张量并行会引入 inter-GPU 通信延迟,且 HBM 的成本极高——HBM3E 目前约 300 美元/stack,下一代 HBM4 预计约 500 美元/stack。

SSD 容量充足、价格便宜,但带宽差距过大。高端企业级 SSD 的顺序读取带宽在 10–15 GB/s 量级,仅为 HBM3E 单 stack 的约 1%。对于逐 token 生成的自回归推理,频繁从 SSD 读取权重可能显著拖慢生成速度。

HBF 的逻辑在于:AI 推理的 decode 阶段需要持续读取模型权重——"你在做的就是把模型权重流式传输给加速器",Hsu 对 SDxCentral 说,"对推理工作负载来说,真正重要的是带宽,而不是延迟。"因为模型权重是只读数据,可以预取和流水线化,NAND 较大的访问粒度(page size)和较高的延迟可以通过并行度弥补。Sandisk 的模拟数据支撑了这一判断。

两组模拟分别测试权重读取和 HBM、HBF 混合架构

Sandisk 的模拟以 Llama 3.1 405B 为基准,测试 HBF 读取 8-bit 预训练权重的性能。对比对象是一个假设拥有无限容量 HBM 的配置——即排除容量优势,仅测试带宽和延迟差异对系统级性能的影响。结果:HBF 的系统级性能在无限容量 HBM 的 2.2% 偏差范围内。Sandisk 在官方白皮书中称,HBF 能以与 HBM4 相当的物理尺寸、功耗和堆叠高度,提供 8–16 倍容量,成本相近。

SK 海力士在今年早些时候发表的 IEEE H³ 论文提出了另一种混合架构。该论文提出将 HBM 和 HBF 放在同一 interposer 上,共用统一地址空间:只读数据(模型权重、共享 KV cache)放在 HBF,读写数据放在 HBM。在 B200 + 8×HBM3E + 8×HBF 的模拟中,H³ 架构在百万 token 上下文下 tokens/sec 是纯 HBM 的 1.25 倍,1000 万 token 上下文中扩大到 6.14 倍;每瓦性能最高为基线的 2.69 倍,KV cache 批处理规模可达纯 HBM 的 18.8 倍。

两组模拟考察的条件不同:Sandisk 聚焦权重读取,SK 海力士聚焦混合架构在长上下文中的收益。它们为设计提供了依据,实际收益还要由硬件与系统测试确认。

HBF 靠近处理器,CMX 则提供集群级上下文存储

HBF 与三星参与的 NVIDIA CMX Context Memory Storage 方案都针对 AI 推理的内存压力,但位于不同的存储层级。

CMX 是 NVIDIA 主导、存储厂商参与的生态方案:通过 BlueField-4 DPU 和 Spectrum-X 以太网,将 NAND SSD 组成的存储池作为"G3.5"层(Context Memory Storage)挂载到 GPU 集群。它不是直连 GPU,而是网络附加的 pod 级缓存层,主要服务于 KV cache 卸载。单套 CMX 配置可达 576 块 SSD、9.6 PB 总容量。

HBF 则通过 UCIe 直连 GPU,定位在 G1(GPU 层)。它比 CMX 离计算更近一个架构层级,延迟更低,但容量上限也更低——512 GB 对 PB 级别。两者的关系更接近"不同层级的不同解法",而非直接替代。

在 COMPUTEX 2026 上,SK 海力士在同一展台同时展示了 HBF(G1 层)和 BlueField-4 STX SSD(G3.5 层),说明它自己也在布局多层架构。这些展示体现了多层存储配合的思路:HBF 在 HBM 旁补充容量,STX SSD 服务更大范围的存储需求。

厂商公布送样计划,延迟、耐久性与封装仍待验证

此次发布的是 OCP 标准规格,尚不代表 HBF 产品已经量产交付。Sandisk 的目标时间表是:2026 年下半年交付首批 HBF 内存样品,2027 年初提供首批搭载 HBF 的 AI 推理设备样品。SK 海力士同时宣布其第 10 代 375 层 4D NAND(V10)能效为前代的 2.5 倍,计划明年初量产基于该 NAND 的 eSSD。但 HBF 产品本身没有量产时间。

几个关键问题有待回答:HBF 的确切延迟数字(NAND 的读取延迟通常在微秒级,HBM 在纳秒级——差距可能有三个数量级);NAND 的写入耐久性在推理场景中是否构成限制(模型权重是只读的,但 KV cache 涉及持续写入);以及实际系统集成中的散热和封装良率。

标准的推进还需要处理器与系统厂商参与。Google 和 Tenstorrent 已加入联盟;按会议安排,Google DeepMind 高级工程师 Xiaoyu Ma 将参加 8 月 6 日的 FMS 专题讨论。这些参与有助于对接使用需求,但尚不能视作采购或部署承诺。Sandisk 还为 HBF 组建了由 David Patterson(RISC-V 之父、Google 杰出工程师)和 Raja Koduri(前 Intel/AMD GPU 架构负责人)组成的技术顾问委员会。

AI 基础设施既需要提高内存速度,也在尝试用多个层级配合扩充容量。HBF 已有首版规格和产业联盟,下一步仍需完成样品验证,并证明模拟中的容量、带宽和功耗收益可以在实际系统中实现。

来源

  • SK hynix Newsroom: HBF at FMS 2026 · SK hynix
  • Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification · BusinessWire / Financial Times
  • SK hynix & SanDisk unveil High Bandwidth Flash standard, targeting 3TB/s · Wccftech
  • Beyond HBM: The flash memory technology that could reshape AI infrastructure · SDxCentral
  • Scaling the Memory Wall: Behind Sandisk's High Bandwidth Flash for AI Inferencing · Sandisk
  • COMPUTEX 2026: Memory in Focus · TrendForce
  • SK Hynix proposes HBM and HBF hybrid for LLM inference · Blocks & Files

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Qualcomm HBC 架构示意图:LPDDR 内存堆栈通过 TSV 连接下方 HBC 加速器,整体置于 2D 有机基板上

    高通发布 HBC 近存计算架构,将推理计算单元堆叠在内存下方

    2026-06-25

  • AI 拉高存储芯片需求,手机和电脑为什么也跟着涨价

    AI 拉高存储芯片需求,手机和电脑为什么也跟着涨价

    2026-06-20

  • SK 集团会长崔泰源、SK Hynix CEO 郭鲁正等高管在纳斯达克敲钟仪式上

    SK 海力士赴美上市募资 265 亿美元,加码 HBM 内存产能

    2026-07-28

  • SK Group 和 NVIDIA 标志并排展示,代表双方战略合作
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

英伟达与 SK 集团拟开展超 5000 亿美元合作,涉及 HBM 和数据中心

2026-07-27

  • SK Hynix 在 CES 2026 的展位,展示其 HBM4 等下一代 AI 内存解决方案

    SK 海力士启动赴美上市路演,拟募资约 280 亿美元扩建产能

    2026-07-06

  • 三根 DRAM 内存条特写

    三星、SK 海力士和美光被诉操纵 DRAM 价格,原告质疑 HBM 产能调整

    2026-06-25