Meta 自研内存扩展芯片,让旧 DDR4 在新服务器里继续使用 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

Meta 自研内存扩展芯片,让旧 DDR4 在新服务器里继续使用

2026-07-02 / 共 2,851 字

Tom's Hardware

6 月底,Meta 在 ISCA 2026 论文中介绍了自研芯片 Vistara:通过 CXL 接口,把退役服务器上的 DDR4 内存接入使用 DDR5 的新服务器,继续利用旧内存的容量。

论文报告了几类生产工作负载的收益:推荐系统参数服务所需的服务器数量最多减少 25%,一项缓存服务的平均查询延迟下降 29%,Spark 单台服务器可运行的执行进程(executor)增加最多 33%。这些结果说明,对于受内存容量限制的业务,复用旧内存也能提高现有计算资源的利用率。

Meta 约四成服务器受内存容量限制

Meta 在论文中披露,在其数百万台服务器中,43.7% 受内存容量限制:内存容量先成为瓶颈,CPU、存储和网络等资源因此未能充分利用。在上一代硬件的部分配置上,内存受限任务的 CPU 利用率曾低至 25%-35%。

服务器和内存的使用寿命也不一致。Meta 服务器的预期服役周期为 5-7 年,但 DDR4 内存条的实际可用寿命可达 10-14 年。当一台服务器因 CPU 换代被退役时,其搭载的 DDR4 DIMM 远未到报废年限。但使用 DDR5 插槽的新服务器无法直接安装这些旧内存条。

内存涨价也提高了复用旧硬件的吸引力。TrendForce 在 2 月曾预计,2026 年第一季度常规 DRAM 合约价将环比上涨 90%-95%;该机构 6 月公布的调查结果为上涨约 93%-98%。厂商优先向服务器内存和 HBM 分配产能,使消费电子、企业 IT 等领域的采购也受到影响。

Meta 选择把仍可使用的退役 DDR4 重新纳入服务器配置。

自研芯片通过 CXL 接口连接旧 DDR4

Vistara 是 Meta 第一代自研 CXL 内存扩展 ASIC。CXL(Compute Express Link)是建立在 PCIe 物理层之上的缓存一致性互联协议,让服务器能够通过 PCIe 总线访问扩展设备上的 DRAM,突破 CPU 直连内存插槽的容量限制。

单颗 Vistara 通过 PCIe Gen5 x16 接口(实际部署为 x8)连接主机,同时驱动两个独立 72-bit DDR4 通道。每颗芯片最高支持 256GB 容量(4×64GB DIMM),Meta 当前部署使用从退役服务器拆下的 32GB 模块,单芯片配置 128GB。芯片内置三颗 RISC-V 处理器分别负责安全启动、设备初始化和固件管理,典型功耗仅约 9W,ASIC 自身的空闲往返延迟约 50ns。

论文使用的 MemServer 节点安装了两颗 Vistara:一台搭载 AMD EPYC Turin 处理器(158 核/316 线程)的单路服务器,配备 768GB 本地 DDR5-6400 内存(12 通道,峰值带宽 614GB/s),再通过 Vistara 接入 256GB CXL 直连 DDR4-2400,总内存容量达到 1TB。CXL 内存在 Linux 中呈现为独立的 NUMA 节点。论文配置表给出的峰值带宽约为 76GB/s,空闲访问延迟约为 250ns。按同表口径,其峰值带宽约为本地 DDR5 的八分之一,空闲延迟约为两倍;实际读写性能还取决于负载。

操作系统把低频访问的数据移到扩展内存

扩展内存的带宽较低、延迟较高,软件需要合理分配数据。Vistara 让操作系统把低频访问的「冷页面」移到 CXL 内存,将本地 DDR5 留给频繁访问的数据。

Meta 的软件栈基于 Linux 内核的 TPP(Transparent Page Placement,透明页面放置),结合自研的 TMO(Transparent Memory Offloading)主动降级策略。内核通过 NUMA 平衡机制追踪页面访问频率,将频繁访问的热页保留在本地 DDR5,将长时间未访问的冷页迁移到 CXL 侧。整个过程对应用透明。

论文测试的工作负载中,有大量页面长时间未被访问。作者指出,所列负载均有至少 75% 的页面空闲超过 4 秒;其中一项 Web 服务的页面空闲时间第 99 百分位为 38.5 小时。论文报告,面向的内存容量受限负载通常只占用不到 10% 的 CXL 带宽,因此较低的扩展内存带宽仍能满足这些负载的需要。

论文还回应了此前研究对 CXL 的两项担忧。一项是尾延迟:Meta 的 ASIC 测试中,访问延迟的波动程度与本地 DRAM 接近,没有出现部分 FPGA 测试中的异常长尾。另一项是页面追踪开销:作者报告,TPP 在所测生产服务中的 CPU 开销较低,未观察到由此引发的性能退化;这些服务的页面迁移流量也较少,使用 DMA 引擎加速迁移的收益可能有限。

推荐系统参数服务最多节省 25% 服务器,缓存和分析任务也受益

论文对多种生产工作负载进行了 A/B 测试,每项均使用实际流量运行至少一周。以下几项结果分别对应不同服务:

  • ML 参数服务器(存放推荐系统 embedding 表):所需服务器数量最多减少 25%。论文比较了模型规模扩展至 20TB 的情况,模型服务吞吐量提升 4%-12%,所需服务器数量减少 20%-25%。
  • 分布式缓存 CacheA:内存容量从 680GB 扩展到 890GB,按论文正文和图示,单服务器 QPS 提升 33%,对象保留时间从约 1 分钟延长至 5-10 分钟,减少了从闪存读取数据的需要。
  • 分布式缓存 CacheB:缓存容量从 590GB 扩展到 820GB,平均查询延迟降低 29%,2.3% 的缓存命中从 flash 转移到内存,减缓了 SSD 磨损。
  • Spark 数据仓库:按论文正文和图示,单服务器 executor 数最多增加 33%,内存不足(OOM)事件及关联的作业重启开销降低 33%。
  • 开发基础设施:CI 容器密度和 devmachine VM 密度各提升 33%,开发机集群整体节省 15% 服务器。

复用内存也能减少新硬件制造。论文采用的生命周期碳排放分析中,DRAM DIMM 占各部件排放总量的 69%,是 SSD 的 4 倍多。延长 DIMM 使用寿命,可以减少新 DRAM 的采购和制造需求。

论文提供了 CXL 大规模生产部署的经验

CXL 标准自 2019 年提出以来,相关研究和产品不断增加,三星、Micron 都有 CXL 内存模块。Meta 的论文提供了大规模生产部署的经验,覆盖 ASIC、Linux 内核驱动、固件管理和工作负载自动配置。Vistara 已用于 Meta 的多种生产服务。

论文作者在摘要中明确写道:"六年后,CXL 的广泛适用性仍不确定,因为缺乏大规模、真实工作负载的经验",而 Vistara 是"首个端到端 CXL 解决方案的大规模部署报告"。

对于 Meta 之外的数据中心运营商,Vistara 暂时不可获得——这是一颗纯粹的内部芯片。但同一场 ISCA 会议上,韩国无晶圆厂半导体公司 Panmnesia 也展示了其 CXL 控制器和 Fabric Switch,支持端口路由(PBR),可将 CXL 内存扩展至最多 64 节点,已进入芯片采样阶段。

这项部署表明,CXL 可以在大型云服务商的实际业务中发挥作用。其他运营商能否获得类似收益,还取决于旧内存库存、服务器兼容性和工作负载的访问特点;自研芯片只是实现复用的一种方式。

Linux 的 CXL 驱动、AMD EPYC Turin 的兼容能力,以及 Meta 提交给上游的内核改进,为其他部署提供了基础。Vistara 的经验在于,把硬件复用、数据分层和生产运维结合起来,才能让旧内存带来的容量收益抵消额外的访问开销。

来源

  • Vistara: Making CXL Real—Full Path from ASIC Design and OS Support to Hyperscale Deployment (ISCA 2026) · Meta Platforms
  • Meta fights soaring hardware costs by reusing old DDR4 server memory in new DDR5-only servers · Tom's Hardware
  • Zuck saves Meta bucks by reusing memory from old servers with a custom CXL ASIC · The Register
  • Near zero-cost memory expansion through recycling · TechRadar
  • Panmnesia boosts CXL scale with fabric switching. Meta repurposes old DRAM with CXL · Blocks and Files

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Meta MTIA 芯片硅片特写,展示自研 AI 加速器的物理设计

    Meta 被曝 9 月量产新版 AI 芯片,后续型号重点优化推理

    2026-07-12

  • DeepSeek 如何节省长上下文显存:稀疏注意力、压缩缓存与后续研究

    DeepSeek 如何节省长上下文显存:稀疏注意力、压缩缓存与后续研究

    2026-06-20

  • SemiAnalysis InferenceX 基准测试对比图:GB300 NVL72 系统上 DeepSeek V4 Pro 的 token 成本从 $0.30/百万降至 $0.06/百万,仅用约一个月

    NVIDIA 优化推理软件,DeepSeek V4 推理成本在测试中降至五分之一

    2026-07-09

  • Qualcomm HBC 架构示意图:LPDDR 内存堆栈通过 TSV 连接下方 HBC 加速器,整体置于 2D 有机基板上
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

高通发布 HBC 近存计算架构,将推理计算单元堆叠在内存下方

2026-06-25

  • Cloudflare Workers AI 推理优化架构示意图

    Cloudflare 优化 Kimi 和 GLM 推理,用更少显存承接更多请求

    2026-08-03

  • Meta 的 72 颗 MTIA 400 芯片组成的机架级系统

    Meta 被曝计划 9 月量产自研 AI 芯片 Iris,由博通参与设计

    2026-07-12