8 月 13 日,OpenAI 预览了一个叫 Ultrafast 的新 API 服务层级:把旗舰模型 GPT-5.6 Sol 部署到 Cerebras 的晶圆级芯片上,宣称生成速度最高 750 输出 token/秒、至多达到「Standard processing」输出速度的 14 倍,目前只对一小批受邀客户开放。这次部署将 OpenAI 的旗舰闭源模型放到英伟达 GPU 之外的硬件上运行。此前,它的 gpt-oss 开放权重模型已适配过 Cerebras 和 AMD 芯片。
这一部署尝试通过更换推理硬件,让用户在使用旗舰模型时获得更快的输出。不过,目前的速度与质量判断仍主要依据 OpenAI 和 Cerebras 自报的数据。
晶圆级芯片用片上存储减少权重搬运
大语言模型在逐步生成 token 时,需要频繁读取权重。在不少 GPU 推理负载中,内存带宽因此成为瓶颈:计算单元需要等待数据从片外 HBM 传入。OpenAI 的 API 文档把已有的「Fast mode」标为对 GPT-5.6 Sol 提供「速度至多为 Standard 的 2.5 倍」的服务,但这一数字并不代表软件优化的速度上限。
Cerebras 的晶圆级引擎走的是另一条路:不把整片硅晶圆切成几十颗独立小芯片,而是把它当成一颗芯片,并把内存直接做进芯片里。每颗晶圆级芯片上有 44 GB 片上 SRAM,权重留在片上,token 在跨晶圆流水线的各层之间流动,不再反复跨越片外存储的总线。Cerebras 称,这消除了 GPU 推理的内存带宽瓶颈——在 GPU 上,权重必须在片上缓存与片外存储之间来回搬运才能逐 token 生成。
14 倍相对标准模式,并非相对已有的 Fast 模式
14 倍的基准是「Standard processing」,不是 OpenAI 已经有的最快层级。OpenAI 的 API 文档写明,Fast mode(7 月 30 日由 Priority 更名)提供「速度至多为 Standard 的 2.5 倍」的服务。若仅将两个「至多」数字相除,会得到约 5 到 6 倍;但它们未必来自同一负载,这只是粗略折算,不能当作 Ultrafast 相对 Fast mode 的实测速度差。此外,14 倍和 750 token/秒都是「至多」的峰值口径,截至目前没有针对这一特定配置的独立第三方基准,访问仍限于小范围预览客户。
Cerebras 给出的对比都标注了是自己跑的评测:在 Humanity's Last Exam 上,Ultrafast 答完 2500 道题用了 11 小时 11 分,而 Claude Fable 5 用了 78 小时 27 分,前者用时约为后者的 1/7,Cerebras 称「精度相当」;在 GDP-Val 上,端到端用时约为标准模式的 1/5.6,称「无质量损失」。需要注意,HLE 的对比一边用 Codex 加 xhigh 推理、一边用 Claude Code 加 xhigh 推理,两套 Agent 运行框架并不相同,这不是一次受控的同条件比较。
质量是否保持,仍需独立评测确认
OpenAI 与 Cerebras 都强调 Ultrafast 跑的是「同样的智能」「无质量妥协」。但单颗晶圆级芯片的片上内存为 44 GB,完整模型如何部署仍涉及具体工程安排。厂商没有公开线上服务的跨晶圆切分方式、是否使用量化,以及权重是否与 Standard 逐比特一致;而支撑「无质量损失」的 GDP-Val 和「精度相当」的 HLE,都出自 Cerebras 自己的评测。在第三方复现之前,「同样的智能」是厂商主张,不是已被验证的事实。
OpenAI 的订单有助于 Cerebras 减少对单一客户的依赖
对 Cerebras 而言,旗舰模型上线也关系到客户结构和长期订单。今年 1 月 14 日,OpenAI 与 Cerebras 签下多年协议,部署 750 兆瓦的晶圆级推理算力;CNBC 当时报道称协议金额超过 100 亿美元、容量在 2028 年前分批上线。对 Cerebras 来说,OpenAI 是一个能帮它摆脱单一客户依赖的关键客户——CNBC 指出,G42 在 2024 上半年贡献了 Cerebras 87% 的收入。让 OpenAI 的旗舰模型公开跑在自己的芯片上,为其晶圆级推理方案提供了一个重要的商业案例。
这次合作公布的是推理部署。前沿模型的大规模训练仍深度依赖英伟达的 GPU 生态和软件栈。Ultrafast 为推理增加了一种硬件选择,目前还不能据此判断训练市场会如何变化。
价格、并发容量和高负载下的速度仍待公布
价格、可用区域、并发容量、上下文长度上限、SLA,OpenAI 一项都还没有公布;Ultrafast 目前只是邀请制的小范围预览。这些缺口决定了现在无法判断它在真实高并发负载下能否维持 750 token/秒,以及单位成本是否真的低于 GPU。接下来需要关注:OpenAI 何时公布 Ultrafast 的定价与容量扩展时间表,以及首批预览客户之外是否出现可复现的第三方吞吐数据。

