AMD 展示大内存 AI 工作站,2.6TB 是四卡配置上限 | AGIDaily
AGI Daily
资讯日报词条论文人物新创

AMD 展示大内存 AI 工作站,2.6TB 是四卡配置上限

2026-09-04 / 共 2,498 字

AMD

9 月 4 日,AMD 在 IFA 2026 首次展示 Threadripper Halo Station 原型:96 核 Threadripper PRO 9995WX、2TB DDR5 RDIMM 与两张液冷 Instinct MI350P,被装进一台桌边塔式机。AMD 同时把上限写成“2.6TB 总系统内存”和“16.4TB/s 总系统内存带宽”,并宣称它能运行万亿参数模型。

这组数字对应规划中的四卡配置,现场样机尚未达到。它将 GPU 显存与 CPU 主存相加,但两者的访问速度不同,不能视为一块容量为 2.6TB 的显存。Halo Station 把数据中心级 PCIe 加速卡装进了工作站;模型如何分配到显存和主存中、运行速度能达到多少,还需要实测。

现场样机只有两张卡,宣传容量按四张计算

AMD 产品页将 Halo Station 标为原型机(prototype),并标注“Coming in 2027”。页面的比较脚注采用四张 MI350P:每张 144GB HBM3e、4TB/s 峰值带宽,合计 576GB 与 16TB/s;再加 2TB RDIMM 和最高 410GB/s,得到约 2.6TB 与 16.4TB/s。

IFA 现场并不是这套四卡配置。Tom's Hardware看到的机箱只装了两张卡,AMD 的说法是存在“通向四卡”的路径。按同一口径,样机拥有 288GB HBM3e、8TB/s 聚合 HBM 峰值带宽和 2TB 主存,而不是 576GB HBM3e。

口径 IFA 双卡样机 AMD 四卡上限
MI350P 数量 2 4
HBM3e 容量 288GB 576GB
HBM 峰值带宽相加 8TB/s 16TB/s
RDIMM 容量 2TB 2TB
合计容量 约 2.29TB 约 2.58TB,标称 2.6TB

理解这些数字时,需要区分容量相加与实际访问速度。根据 MI350P 规格书,每张卡的 144GB HBM3e 峰值带宽为 4TB/s,而主机互连只列出一条 PCIe 5.0 x16、128GB/s。GPU 读取自身 HBM、访问 CPU 主存和经 PCIe 传输数据,速度各不相同;四张卡的 HBM 带宽也不能被一个任务自动当成单一 16TB/s 内存池。AMD 产品页、MI350P 规格书与现场报道都没有列出 Halo Station 的 GPU 间互连拓扑、内存一致性方案或模型分片方法。

能否装下万亿参数模型,取决于精度和额外开销

只计算权重,1 万亿参数模型在不同精度下的最低容量很直观:16-bit 约 2TB,8-bit 约 1TB,4-bit 约 500GB。这个下限还没有计入量化比例因子、KV cache、激活、通信缓冲区和运行时工作区。

权重精度 1T 参数权重下限 双卡 288GB HBM 四卡 576GB HBM
FP16 / BF16 约 2TB 不可仅放入 HBM 不可仅放入 HBM
FP8 / INT8 约 1TB 不可仅放入 HBM 不可仅放入 HBM
FP4 / INT4 约 500GB 不可仅放入 HBM 理论上可放入,但余量有限

因此,四卡版本在低至 4-bit 的权重口径下,才接近“把 1T 参数放进 HBM”这一结论;双卡样机连权重下限都放不下。若使用 8-bit、16-bit,或者模型与上下文让运行时内存超过 576GB,就必须把一部分数据留在主存,通过 PCIe 迁移或按层卸载。

2TB 主存能帮助容纳更多数据,但模型能装下,不代表运行速度就足够快。AMD 的 HIP 性能指南说明,托管内存可以通过主机与设备间的按需迁移,让分配规模超过物理 GPU 内存;同一份指南也要求尽量减少主机—设备传输,并提醒运行时和工作区需要保留显存余量。因此,还需要测试模型加载后能够多快地持续生成 token。

上述公开材料也没有说明“万亿参数”指稠密模型还是混合专家模型、采用何种量化、支持多长上下文和多大并发,更没有发布预填充或解码速度。其官网关于“训练、微调和运行大型模型”的表述是对整机用途的概括,不足以证明 Halo Station 能在本地完整训练 1T 参数模型。

两种内存架构,不能只按总容量比较性能

AMD 把 Halo Station 的 2.6TB 与 NVIDIA DGX Station 的 748GB 相比,得到 3.4 倍总内存。这个比例比较的是总容量,两套机器的内存连接方式并不相同。

NVIDIA 的 DGX Station 规格是 252GB HBM3e 加 496GB LPDDR5X,并通过 900GB/s NVLink-C2C 连接 Grace CPU 与 Blackwell Ultra GPU;NVIDIA 将其称为 748GB 一致性内存(coherent memory),并预装 Ubuntu 与 NVIDIA AI 开发工具。Halo Station 上限则是四张独立 PCIe 卡与八通道 RDIMM:HBM 总量更大、主存更多,但 AMD 没有将两者定义为统一的一致性内存池,也没有公布与 DGX Station 同模型、同精度、同上下文的测试。

这意味着买方不能从 2.6TB 对 748GB 推导出 3.4 倍模型速度,也不能从 16.4TB/s 对 7.1TB/s 推导出两倍多吞吐。前者混合了不同内存层,后者把多张卡和主存的峰值带宽相加;实际性能还取决于权重是否留在 HBM、张量并行通信、内核支持与服务框架。

上市前还需公布性能、功耗和软件支持情况

更大的容量也带来了供电和散热要求,四卡版本尤其如此。9995WX 的默认 TDP 为 350W,MI350P 的最高板卡功耗为 600W、可配置至 450W。按额定上限相加,双卡样机的 CPU 与 GPU 已达 1.55kW,四卡则达 2.75kW;这还不包括内存、存储、水泵和其他部件,也不等于插座端测得的实际整机功耗,但足以说明供电、散热与噪音会影响部署。

截至 9 月 4 日公开展示,AMD 只给出 2027 年这一时间窗,没有公布更具体的上市日期、价格、OEM、操作系统与整机 ROCm 软件版本,也没有可复核的 LLM benchmark。The Register同样把 PCIe 上的张量并行视为潜在瓶颈,而非从总内存直接推导性能。

考虑用它替代云推理或 GPU 服务器的团队,在采购前还需要确认四项结果:四卡实机是否完成;同一开源模型在相同量化、上下文和并发下的加载时间与 token/s;持续负载的整机功耗、温度和噪音;以及 ROCm 对多卡模型并行和 CPU offload 的稳定性。有了这些数据,团队才能判断这台工作站能否满足本地推理需求,以及部署成本是否合适。

来源

  • AMD Threadripper Halo Station · AMD
  • AMD Instinct MI350P PCIe Card Product Brochure · AMD
  • AMD Ryzen Threadripper PRO 9995WX · AMD
  • HIP Performance Guidelines · AMD ROCm
  • NVIDIA DGX Station · NVIDIA
  • AMD unveils Threadripper Halo Station · Tom's Hardware
  • AMD's Threadripper Halo is a local-AI workstation for researchers with deep pockets · The Register

评论

登录后即可参与评论。

加载评论中…

相关文章

  • Qualcomm HBC 架构示意图:LPDDR 内存堆栈通过 TSV 连接下方 HBC 加速器,整体置于 2D 有机基板上

    高通发布 HBC 近存计算架构,将推理计算单元堆叠在内存下方

    2026-06-25

  • AMD Helios 机架级 AI 系统发布图,左侧展示服务器机架,右侧标注「Launching AMD Helios」与「In Production Today」。

    AMD宣布Helios整机架AI系统量产,OpenAI等客户将陆续部署

    2026-07-25

  • Robion 在两条 GPU 执行流上并行运行 VLM 与动作扩散阶段,并动态限制 VLM 可用 SM 的示意图

    四张 GPU“服务 64 台机器人”:Robion 测到的是请求容量

    2026-09-10

  • SK hynix 与 SanDisk 联合发布的 High Bandwidth Flash 技术渲染图
AGI Daily跟踪世界 AI 进展
邮件栏目主题RSS
定制投稿招聘广告
关于MCPTermsContact

SK 海力士与 SanDisk 发布高带宽闪存标准,拟扩充 AI 推理存储容量

2026-08-04

  • AI 拉高存储芯片需求,手机和电脑为什么也跟着涨价

    AI 拉高存储芯片需求,手机和电脑为什么也跟着涨价

    2026-06-20

  • 科大讯飞与讯飞星火标识下方写有‘星火 X2.5 正式发布’的蓝色发布海报

    星火 X2.5 上线:293B-A30B 与 1.6 元 API 价分别说明什么

    2026-09-07