减少显存占用，让单卡容纳大模型训练
大语言模型预训练既需要足够的计算量，也需要显存容纳权重、梯度、优化器状态和中间激活值。论文 POET-X 改进了正交等价变换训练的实现，减少显存与计算开销。实验展示了在单张 NVIDIA H100（80GB）上运行 Llama-8B 级别模型训练的可行性；能否容纳具体配置，还取决于序列长度、批量和精度。它降低的是训练所需的显存门槛，完整预训练的数据量与耗时仍需另行安排。
POET-X 改进计算方式，减少 POET 的中间开销
POET-X 延续了 POET（Reparameterized Orthogonal Equivalence Training）的思路：固定基础权重，通过学习两侧的正交变换来调整权重矩阵。正交变换能保持矩阵的奇异值，帮助控制训练中的权重谱；模型质量则通过后续训练实验衡量。
POET-X 主要改进计算顺序和底层实现，让 POET 较少的可训练参数转化为实际的显存节省。主要改动包括：
减少中间矩阵：不先构造完整的变换后权重，而是依次对输入执行线性变换，减少反向传播需要保留的大型张量。
紧凑存储可训练参数：利用分块结构，只保存反对称矩阵的上三角部分，相应减少梯度和优化器状态。基础权重在内层优化中保持不变。
加速正交变换：通过置换索引、分块批量计算和算子融合减少开销，延续 POET 控制权重谱的思路。实际实现采用近似正交化，稳定性仍需在具体训练设置中检验。
单卡测试展示显存节省，模型质量另作比较
论文分别报告了显存、吞吐量和模型质量实验，比较时需要区分它们的配置：
- 硬件配置：单张 NVIDIA H100（80GB 显存）上的显存测试，批量为 1，不使用梯度累积
- 模型规模：包含 Llama-8B 级别架构，并比较不同序列长度
- 显存对比：序列长度 2048 时，表 9 中 AdamW 峰值显存为 78.69GB，POET-X_mem（分块大小 256）为 31.74GB；另一个吞吐量实验设置下，AdamW 在这一序列长度单卡 OOM
- 模型质量：3B 模型、600 亿 Token 的预训练实验中，分块大小 512 的 POET-X 验证集困惑度优于 AdamW，仍落后于 Muon，衡量的是上述 3B 训练设置中的语言建模质量
这些结果说明，POET-X 能给单卡训练留出更多显存余量。小团队可以据此尝试更大的模型或更长的输入，但训练时间、数据准备和质量评估仍然需要预算。
调整正交变换的计算顺序，减少需要保存的张量
要理解这些节省来自哪里，需要把模型参数占用与训练期间的其他显存开销分开。
权重之外，还要存梯度、优化器状态和激活值
以约 80 亿参数为例，仅按每个参数 2 字节存储，权重约占 16GB。AdamW 还要保存每个参数的一阶矩和二阶矩；这两份状态的大小取决于存储精度：
- 两份状态都用 16 位存储：各约 16GB，合计约 32GB
- 两份状态都用 32 位存储：各约 32GB，合计约 64GB
此外还有梯度、中间激活值，以及某些混合精度实现保存的主权重副本。这些开销随批量、序列长度与实现变化，是否超过 80GB 要看完整配置。论文的显存表与吞吐量表也采用了不同设置。
固定基础权重，更新两侧的正交变换
POET-X 不直接为基础权重的每个元素维护可训练更新，而是学习其两侧的正交变换。
省略分块与置换细节，POET 的权重表示可写为：
W_RP = R · W₀ · P
其中 W₀ 是基础权重，R 和 P 是可训练的正交变换。在内层优化中，W₀ 保持不变；训练期间会按算法安排合并变换并重新初始化。
显存节省来自几个配合的改动：以小块表示变换，紧凑存储其参数，并避免为了反向传播保留完整的变换后权重。POET-X 还提供 fast 与 mem 两种实现，后者会重算部分中间激活值，以额外计算换取更低显存。
与现有方法的区别
POET-X 与其他节省显存的方法作用位置不同，也可以结合使用：
- LoRA/低秩适配：用低秩更新减少可训练参数；POET-X 学习分块正交变换。两者都有参数效率优势，具体质量需要在相同训练任务上比较。
- 量化训练：通过降低权重或状态精度节省空间。POET-X 也有量化版本 POET-XQ，并不排斥这条路线。
- 梯度检查点：通过重算减少激活值存储；POET-X_mem 本身就使用这一方法，它与减少梯度和优化器状态相互补充。
显存门槛降低，能扩大训练实验的硬件选择
POET-X 的实际价值，是让更多训练配置有机会装进有限显存，方便开展模型与训练方法实验。
大规模预训练通常使用多卡集群，以缩短处理大量数据所需的时间。降低单卡显存需求，为硬件受限的团队增加了选择：
- 高校实验室可以用有限的 GPU 配额参与基础模型研发
- 中小企业可以在自有硬件上尝试定制化模型训练
- 独立研究者可以更自由地探索模型架构和训练方法的创新
此外，POET-X 展示了参数效率与实现效率之间的差距：可训练参数减少，未必自动减少峰值显存。只有同时处理中间张量、数据访问和计算顺序，数学表示上的节省才可能转化为硬件收益。
从 POET 的参数效率，推进到实际显存效率
POET-X 来自香港中文大学、剑桥大学及华为等机构的研究者，关注正交变换训练的显存与运行效率。论文、项目页和代码提供了方法与实验细节，便于进一步复现。
基础版 POET 已展示了控制权重谱的价值，但原始实现需要存储大型变换后权重，显存占用甚至可能高于 AdamW。POET-X 针对这些开销逐项优化，使其参数效率能在更大模型的训练中发挥作用。
项目团队同时维护了 SphereLab 项目页面（spherelab.ai/poetx），提供了可视化的方法解释，帮助研究者更直观地理解正交变换训练的原理。
还需验证更大模型、更多架构和完整训练成本
现有结果支持继续研究这条路线，但还不能回答所有实际训练问题：
架构验证范围有限：目前仅在 Llama 架构上进行了验证。是否适用于其他架构（如 Mixture-of-Experts、Mamba 等）尚待进一步研究。
更大规模的模型质量：论文已有 13B 模型的显存和吞吐量测试，但这不等于完成了同等规模的充分预训练。70B 以上模型的完整训练效果仍需验证。
速度与显存的取舍：已有端到端吞吐量结果显示，某些较小配置中 AdamW 更快；POET-X 的优势更多体现在显存受限或扩大分布式训练规模时，实际选择需对齐模型和序列长度。
分布式训练成本：论文已进行了多卡实验，包括 32 张 H100 的训练时间比较。POET-X 可用数据并行的设置，AdamW 可能需要切分模型与状态；通信、批量和网络条件都会影响最终收益。
POET-X 把正交变换训练中原本昂贵的计算与存储环节做得更高效。对准备采用它的团队，最有用的下一步是按自己的模型、序列长度和硬件复现显存、速度与验证集质量，再决定是否投入更长的预训练。
