长上下文同时增加计算量和缓存占用
Transformer 的自注意力机制是当代大语言模型的重要组成部分，也会形成显著的效率瓶颈——标准因果注意力在预填充阶段的计算量随序列长度平方增长，KV Cache 的内存占用随上下文线性膨胀。到百万 token 级别，显存压力会随模型结构、精度和并发量增加。2025 年至 2026 年 6 月，DeepSeek 及基于其模型开展研究的团队探索了几种优化：从 V3.2 的 DeepSeek Sparse Attention（DSA） 与 Lightning Indexer，到 V4 的 Compressed Sparse Attention（CSA） 与 Heavily Compressed Attention（HCA） 混合架构，再到第三方团队于 2026 年 6 月发布的 FlashMemory-DeepSeek-V4 中提出的 Lookahead Sparse Attention（LSA） 与 Neural Memory Indexer。它们分别减少注意力计算、压缩缓存，以及选择哪些缓存需要留在 GPU 上。
预填充计算随长度平方增长，解码还要读取历史缓存
在标准 Transformer 解码器中，每一个新 token 的生成都需要与所有历史 token 进行注意力计算。对长度为 N 的完整输入做预填充，标准稠密注意力的计算量为 O(N²)，KV Cache 为 O(N)。使用 KV Cache 逐个解码时，单个新 token 与历史位置的注意力计算为 O(N)。因此，输入长度翻倍会让预填充注意力计算约增至四倍，而缓存和单步解码的历史读取量约翻倍。
更关键的是，KV Cache 并非一个可以简单压缩的辅助结构——它保存了已处理位置的 key 和 value，供后续生成复用。在自回归解码过程中，每生成一个 token 都需要重新读取全部 KV Cache。当模型厂商将上下文窗口从 128K 推向 1M token 时，KV Cache 成为限制并发吞吐量和 token 定价的核心瓶颈。正如 LMCache 团队所总结的：「降低 token 定价的关键，就是让 KV Cache 变小。」
业界对此的早期应对包括滑动窗口注意力（Sliding-Window Attention），即每个 token 只关注固定范围内的局部上下文。但这种方式将注意力模式硬编码为「局部性优先」，模型无法主动选择需要回顾的远距离信息。
V3.2 用轻量索引器，动态选择要关注的历史位置
2025 年 9 月，DeepSeek 在 V3.2-Exp 中引入 DSA，随后用于 V3.2。不同于滑动窗口注意力将关注范围限制在固定局部窗口，DSA 让模型学习哪些历史 token 值得被关注。
DSA 由两个核心组件构成：
Lightning Indexer（闪电索引器）：一个轻量级的评分模块，对每个新 query token，利用 MLA（Multi-head Latent Attention）的压缩 token 表示，计算与所有历史 token 的相关性分数。它维护一个较小的 key cache（每个 token 仅 128 维，而 MLA 标准为 512 维），因此索引开销远低于完整注意力。
Token Selector（Token 选择器）：基于 Lightning Indexer 输出的分数，保留 top-k 个高分历史位置（DeepSeek 的实现中通常取 k=2048），将这些位置构成稀疏注意力掩码。被选中的 token 可以来自上下文的任意位置，不要求连续。
这一设计的特点在于：稀疏模式不再由人工预设，而是由模型根据输入内容动态学习。当模型处理一段长文本时，Lightning Indexer 会估计哪些远距离 token 与当前 query 更相关，无论它们出现在几千还是几万 token 之前。
从复杂度角度看，选中位置上的主要注意力计算由 O(N²) 降为 O(N·k)，其中 k 为选中的 token 数量；索引器仍需对历史位置评分，因此不能把 O(N·k) 当成整个模块的完整复杂度。在 V3.2 的实际部署中，DSA 与 MLA 协同工作——MLA 压缩 KV Cache 的存储表示，DSA 限制需要实际计算的注意力对数量。两者分别从「缓存表示」和「注意力模式」两个维度优化效率。
DSA 的影响力迅速扩展到 DeepSeek 之外。智谱在 GLM-5 中同时引入了 MLA 和 DSA，替换了此前 GLM-4.5 中更传统的注意力架构。Sebastian Raschka 在其 LLM 架构对比中将其列为当前效率导向架构栈的关键组件。
V4 先压缩缓存，再搭配稀疏或稠密注意力
2026 年 4 月，DeepSeek 发布了 V4 预览版，继续优化注意力与缓存。V4 采用一套混合注意力架构，将 Compressed Sparse Attention（CSA）和 Heavily Compressed Attention（HCA）交错部署在 Transformer 各层之间。
CSA 在压缩后的块上选择重点，并保留局部窗口
CSA 在 DSA 的基础上增加了一个关键步骤：token 级压缩。它将每 m 个连续 token 的 KV Cache 通过一个可学习的压缩器合并为一条条目，然后在这个压缩后的表示上应用 DSA 的稀疏选择。这意味着 Lightning Indexer 不再需要在全部原始 token 上评分，而是在压缩后的「块表示」上进行索引，进一步降低了索引开销。
CSA 同时配备了一个滑动窗口注意力分支，覆盖最近的 n_win 个 token，确保模型对局部依赖关系保持高精度建模。
HCA 高度压缩历史信息，再读取所有压缩条目
HCA 采取的是另一种策略：将每 m' 个 token 的 KV Cache 高度压缩为一条（m' ≫ m，即压缩比远高于 CSA），然后对压缩后的表示执行完整的稠密注意力。由于压缩比足够高，即使使用全注意力，计算量也远低于原始序列。
HCA 在信息细节与覆盖范围之间做了取舍：模型可以关注所有压缩条目，但这些条目已经合并了多个原始位置的信息。覆盖完整历史不等于逐字记住全部对话；压缩可能损失细节，其效果需要通过检索和长文本任务检验。
百万 token 设置下，V4-Pro 缓存约为 V3.2 的一成
在百万 token 上下文的设定下，V4-Pro 的单 token 推理 FLOPs（等效 FP8）仅为 V3.2 的 27%，KV Cache 大小降至 10%。V4-Flash 则更为激进：FLOPs 降至 10%，KV Cache 降至 7%。相关部署分析还报告了 2–3 倍的生成吞吐量提升。缓存大小、硬件配置和调度都会影响结果，不能把价格变化直接归因于单一架构改动。
FlashMemory 预测后续需要的缓存块，减少 GPU 常驻占用
2026 年 6 月 8 日，来自腾讯、香港科技大学（广州）、清华大学及独立研究者的团队在 arXiv 上提交了 FlashMemory-DeepSeek-V4 技术报告（arXiv:2606.09079），提出了 Lookahead Sparse Attention（LSA），在 DeepSeek-V4 上探索提前选择缓存块。这是第三方研究，并非 DeepSeek 官方发布的新一代模型。
预测未来查询需要哪些块，从 CPU 缓存中调入
DSA 和 CSA 根据当前查询选择历史位置；LSA 进一步尝试主动预测未来 token 可能需要哪些上下文信息，并仅保留这些查询关键（query-critical）的 KV 块在 GPU 显存中。
承担这项预测的组件是Neural Memory Indexer（神经记忆索引器）。与 DSA 的 Lightning Indexer 不同，Neural Memory Indexer 不是简单地对历史 token 评分，而是学习预测未来的上下文需求。它被构建为一个标准的双编码器架构，可以独立于主模型进行训练。
索引器可独立训练，数据准备仍需主模型表示
LSA 采用骨干网络无关的解耦训练策略（backbone-free decoupled training）。Neural Memory Indexer 使用标准检索训练框架独立训练，索引器优化过程中不必加载主模型，但其使用的隐藏状态和标签需要预先提取。这意味着：
- 索引器训练可以与主模型的参数训练分开，论文验证的是 DeepSeek-V4-Flash 上的配置
- 索引器本身的训练开销较小，但这不包含全部数据提取和推理成本
- 集成仍需适配缓存管理、索引触发与 CPU/GPU 数据传输
缓存平均降至 13.5%，密集记忆任务仍有失败案例
在 LongBench-v2、LongMemEval 和 RULER 等长上下文评测套件中，FM-DS-V4 将平均物理 KV Cache 占用压缩至全上下文基线的 13.5%，论文摘要报告平均准确率提高约 0.6 个百分点；这是跨任务平均，并非每项成绩都提高。论文还报告，在测试的 500K token 场景下，FlashMemory 将物理 KV Cache 开销降至 10% 以下，并保持了相近的推理表现。
作者把部分任务上的提升解释为减少无关缓存的干扰。不过，论文也报告了需要密集全局记忆的 MRCR 任务失败，以及长度泛化限制。因此，结果支持在特定负载中减少显存占用，尚不能说明这套方法适用于所有长上下文任务。
三类优化针对不同开销，缓存比例不能直接横比
把这些工作放在一起，可以看清它们各自处理的问题：
| 工作 | 模型 | 核心机制 | 主要计算特点 | 缓存比较基线 |
|---|---|---|---|---|
| 1 | V3.2 | DSA（Lightning Indexer + Token Selector） | 主要稀疏注意力 O(N·k)，另有索引评分 | 仍保留历史 MLA 缓存 |
| 2 | V4 | CSA + HCA 混合 | 压缩后索引及稀疏/稠密计算 | V4-Pro 约为 V3.2 的 10% |
| 3 | FM-V4 | LSA（Neural Memory Indexer） | 预测查询需求并调度缓存块 | 平均约为 V4-Flash 完整缓存的 13.5% |
它们的侧重点不同：DSA 解决了「关注哪些 token」的问题；CSA 在此基础上解决了「如何压缩后再关注」的问题；LSA 则预测后续需要哪些块，以减少 GPU 上常驻的历史缓存。表中的 10% 和 13.5% 使用不同基线，不能据此排列优劣。
值得注意的是，这条技术路线与 Google 在 Titans/MIRAS/Nested Learning 系列中探索的「测试时学习」方向形成了有趣的呼应。两者都试图让模型在推理阶段拥有更智能的记忆管理能力，但路径不同：Google 侧重让模型在推理时动态更新权重，DeepSeek 则侧重让模型在推理时动态选择记忆内容。这两条路线可能在未来走向融合。
部署收益还取决于带宽、调度和任务准确率
这类优化有助于降低长上下文部署成本。报道所列的 DeepSeek V4-Pro 每百万输出 token 报价为 0.87 美元，低于部分闭源模型，但定价并不等于成本。KV Cache 缩小 10 倍，也不意味着并发量必然增加 10 倍：模型权重、内存带宽、计算负载和延迟要求仍会限制服务容量。
从更广的视角看，2026 年的注意力机制创新已进入密集迭代期。GLM-5 引入 DSA、Gemma 4 探索 KV 共享、Laguna XS.2 提出逐层注意力预算分配、ZAYA1-8B 尝试压缩卷积注意力——这些探索共同指向一个趋势：Transformer 的注意力机制正在从一个「通用组件」演变为一个高度可定制、任务自适应的架构空间。未来模型的注意力模式可能不再是统一的，而是根据层深度、任务类型和上下文长度动态切换。
对于算法工程师和系统设计者而言，理解稀疏注意力的演进逻辑已不仅是学术兴趣，而是直接影响生产系统成本与性能的工程决策。这些工作提供了不同层次的优化选项。实际采用时，需要同时测量缓存占用、生成延迟、并发吞吐量和任务准确率，而不能只看一个压缩比例。
来源：
- FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention (arXiv:2606.09079, 2026-06-08)
- DeepSeek Sparse Attention — Sebastian Raschka, LLM Architecture Gallery
- DeepSeek AI Releases DeepSeek-V4: CSA and HCA Enable One-Million-Token Contexts — MarkTechPost (2026-04-24)
- DeepSeek V4 explained, and why it matters to your wallet — LMCache Blog (2026-05-04)
- DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models (arXiv:2512.02556)
