9 月 17 日，智谱披露了一条压缩到 13 天的推理系统上线曲线：GLM-5.3-Flash 从 W8A8 量化的首次可运行版本出发，经过异步调度、分层缓存、Layer Split、上下文并行、KV 传输重叠和多个内核优化，端到端吞吐在发布时达到初始基线的 3.22 倍。公司称，这套服务承载 GLM-5.3-Flash 的全部生产推理，集群规模超过十万颗国产 AI 加速器。
这套流程先把工程判断变成可重复调用的实验接口。工程师组织正确性测试、执行追踪、微基准和端到端压测；由 GLM-5.3 驱动的 Infra Agent 提出假设、修改代码、运行实验，再根据局部证据保留或推翻方案。
公开证据分成两层：Flash Linear Attention 的 PR 完整记录了一次长上下文精度修复；十万卡规模、3.22 倍吞吐和每 token 成本来自智谱的生产口径，公开材料没有给出完整复现条件。对外可复用的核心因此是密集反馈回路：让每个系统问题都能被缩小成一个可验证实验。
13 天把同一推理系统推到 3.22 倍吞吐
智谱的技术文章把 1.00 倍定义为新硬件上最初跑通的 W8A8 版本，而不是此前的 NVIDIA 部署、通用推理框架或同一套公开工作负载。图中 3.22 倍是多项系统改动叠加后的终点，其中最大的两次跃升来自 Layer Split 与上下文并行，后续还加入 KV 传输重叠、混合精度缓存量化、分块 MQA、Prefill 反量化内核、算子融合和线性注意力优化。
这条曲线记录了团队在 13 天内把同一系统从“能跑”推到生产版本。公开材料未给出每一步的请求分布与时延约束、各项改动的独立贡献，以及十万颗卡中实际参与测试的数量。智谱也没有披露卡型、集群拓扑、功耗、利用率或与 NVIDIA 比较时的模型版本、精度、上下文长度和服务等级目标。“超过十万卡”“3.22 倍”和“成本效率可比 NVIDIA”属于公司自报的生产口径；跨平台性能比较需要公开卡型、拓扑、工作负载、精度与服务等级目标。
系统优化的起点是 GLM-5.3-Flash 本身的负载。官方文档显示，该模型共有 3200 亿参数、每个 token 激活 180 亿参数，并把稀疏注意力与线性注意力组合在一起，最长支持 100 万 token 上下文。面对单卡显存容量和带宽限制，团队在 SGLang 之上组合了线性注意力与 LM Head 的节点内张量并行、ReplaySSM、W8A8、INT8/FP8/BF16 混合精度缓存量化和 Layer Split，再把多模态请求拆为 Encode、Prefill、Decode 三个阶段分别调度。
EPD 分离并非智谱首次提出。2026 年 1 月的 EPD-Serve 论文已在昇腾平台上把编码、预填充和解码拆开，并在特定高并发多模态实验中报告相对 PD 分离提高 57.37% 至 69.48% 的吞吐。NVIDIA 9 月 9 日公布的实验也强调，EPD 的收益取决于图片或视频占比、输出长度、模型规模、精度和流量混合；当解码占主导时，额外协调与传输成本可能抵消收益。智谱把 EPD 与模型结构、国产加速器约束和线上调度共同落地，这构成了这套系统的工程增量。
密集反馈把系统问题拆成可验证实验
推理系统给 Agent 的难题是跨层定位：吞吐下降可能来自算子、并行策略、通信、显存管理或调度；数值误差也可能只在长上下文和特定分片方式下累积。只告诉 Agent“首 token 时延增加 30%”或“输出吞吐下降 20%”，并不能指出下一步该改哪里。
智谱把反馈拆成三类。正确性反馈用参考实现、分片与非分片路径对照、最小复现来回答“算得对不对”；系统行为反馈用运行日志、时间线、运行时事件和线程状态定位“时间花在哪里”；性能反馈再用限定输入形状的微基准与端到端服务指标判断“哪种方案在什么条件下更好”。局部测试负责尽早淘汰错误方案，完整压测负责确认局部收益能否进入真实服务。
这也重新划分了人与 Agent 的职责。工程师设定目标、系统边界和验收条件，并审核涉及数值语义、异步并发及生产风险的关键改动；Agent 负责分析异常、形成假设、修改代码和安排实验；实验环境返回可以追到具体内核、线程、输入形状或代码路径的结果。密集反馈要求每轮观察都能低成本回答一个明确问题，而非简单增加日志量。
公开 PR 还原一次长上下文精度修复
公开证据最完整的案例来自 Flash Linear Attention。智谱称，Agent 在对比 KDA 内核的上下文并行与非并行路径时，发现长序列误差会随着状态传播和合并不断累积。原因是 Triton 的 tl.dot 即使接收 FP32 输入，也默认使用精度较低的 TF32 路径。修复方案在两个状态合并环节显式启用 tf32x3，用三次 TF32 Tensor Core 运算逼近更高精度。
PR #1180显示，这项修改于 8 月 27 日合并，增加了 2 卡和 4 卡上的序列切分、单长序列与状态布局测试。它还给出一个容易被宣传叙事抹掉的限制：这是可选的精度路径，不是性能改动；关闭开关时 NVIDIA 行为不变，不支持 TF32 的 AMD、NPU 与较旧 NVIDIA 设备显式回退到 IEEE 精度。这个 PR 完整记录了具体问题、修法、测试和上游合并；3.22 倍整体吞吐与 Agent、工程师各自的代码贡献不在这份记录的覆盖范围内。
另外两项案例只有公司文章提供了结果。其一是 Prefill 与 KV 传输组合时，性能差距在部分场景超过工程师设定的 5% 上限。Agent 沿时间线追到 DeepEP 1.2.1 的节点内 dispatch/combine 调用没有释放 Python GIL，Mooncake Transfer 线程因而无法及时提交任务；修复后，公司称差距降到 1% 以下。其二是 ReplaySSM 增加计算后，Agent 先把一个代表性 KDA Decode 内核的执行时间降低 9.6%，再消除沿 V 维切块造成的四次重复归一化与门控计算，使该内核相对 v2 加速 1.71 倍。
这两项公司案例展示了局部证据如何推动下一步。对应补丁、硬件配置、输入形状和完整复现脚本尚未公开，因此它们记录的是内部工程过程，不构成第三方复现。
可复制的是实验接口与验收条件
智谱将这套流程定义为人机协作：人选择目标、设定边界并审核高风险变更，Agent 分析异常、修改代码和安排实验。3.22 倍是系统 bring-up、调度、并行、通信、量化与内核优化的合计结果，资料未拆出 Infra Agent 的独立贡献。
对推理团队更有用的结论因此更朴素：代码 Agent 要进入性能工程，先要让关键判断可执行。数值正确性要有参考路径和误差阈值，并发问题要有能跨 Python/C++ 与计算/通信边界的时间线，内核优化要同时经过微基准和端到端验收。没有这些接口，再强的模型也只能围绕模糊指标猜测；有了它们，Agent 才可能把资深工程师依靠经验串起的诊断步骤变成高频实验循环。
要让外部评价这套方法，智谱需要公开固定请求集、卡型与拓扑、时延约束、能耗和利用率，以及主要改动的补丁与消融结果。到那时，十万卡上的工程故事才能从一条公司内部演进曲线，变成其他团队可以核算、比较和复用的方法。
