8 月 1 日，美团 LongCat 团队在 HuggingFace 开源了 LongCat-Flash-Lite-Sparse——一个 69B 总参数、约 3B 激活参数的 MoE 模型。它的前身 LongCat-Flash-Lite 发布于今年 1 月，使用与 DeepSeek V3 同源的 Multi-Head Latent Attention（MLA）。新版本的主要架构调整是：把 dense MLA 整个换掉，代之以自研的 LongCat Sparse Attention（LSA）。与此同时，模型的原生上下文从 256K 扩展到 1M token，Agent 编码和工具使用 benchmark 大幅提升，通用能力基本持平。MIT 许可开源。
这一调整涉及两种不同的效率优化。过去两年，MLA 凭借将 KV cache 压缩至低秩隐空间的能力，成为多款长上下文模型采用的方案——DeepSeek、Kimi、GLM 均采用 MLA 或其变体。而 LSA 走的是另一条路：不在 cache 表示上做压缩，而是改变注意力本身的模式——只关注被索引器判定为相关的 token 子集。DeepSeek V3.2 的做法是将 DSA 叠在 MLA 之上，两层优化同时运作；LongCat 则选择用 LSA 替代原有 dense MLA。但减少注意力计算和压缩 KV 缓存解决的是不同问题，不能据此认为后一项普遍冗余。公开测试可用于比较两版模型的结果，不能单独证明某种注意力架构在所有 Agent 任务上更优。
LSA 通过流式、跨层和层级索引减少重复计算
要理解 LSA，得先从它要改进的对象说起。
2025 年底，DeepSeek 在 V3.2 中引入了 DeepSeek Sparse Attention（DSA），核心思路是在 MLA 之上叠加一个轻量级的「闪电索引器」（Lightning Indexer）。按相关实现的每 token 数据量估算，索引约为 132 字节，而 dense MLA 为 656 字节；索引器据此扫描所有缓存 token，选出其中与当前 query 最相关的 top-k（通常 k=2048），然后仅对这 2048 个 token 执行完整的注意力计算。完整注意力部分的复杂度由 O(L²) 降到 O(L·k)，但还需计算索引器开销，在 131K 上下文时数据加载量减少约 5 倍。
但 DSA 的索引器本身留下了一个效率问题。根据 LongCat 团队在 LongCat-2.0 技术博客中的分析，Lightning Indexer 存在两个瓶颈：输出不连续（output discontinuity）导致内存访问碎片化，以及评分计算的二次成本在极长上下文下仍不可忽略。
LSA 在 DSA 的基础上引入三个正交改进来解决这些问题：
流式感知索引（streaming-aware indexing） 针对自回归生成场景，利用相邻 token 的 query 相似性，避免为每个 decode step 从头计算索引。
跨层索引共享（cross-layer indexing） 让相邻 transformer 层复用索引结果。这与 GLM-5.2 的 IndexShare 思路类似——DSA 的 token 选择在相邻层之间变化不大，重复计算是浪费。
层级索引（hierarchical indexing） 构建多层索引结构，先用粗粒度筛选候选集，再在候选集内执行精细评分。这直接缓解了二次评分成本的扩展问题。
三者可以独立启用或关闭。从 benchmark 表来看，「不带层级索引」（w/o HI）的版本在大多数任务上略优于带 HI 的版本，说明层级索引仍有优化空间，但整体差距不大。
与 DSA 保留 MLA 作为底层 attention 实现不同，LongCat-Flash-Lite-Sparse 采用了不同的组合：以 LSA 进行稀疏选择，不沿用前版的 dense MLA。最终模型的注意力栈是 LSA 直接作用在标准 multi-head attention 结构上。
官方自测中，编程和工具任务的提升更明显
对比 LongCat-Flash-Lite（dense MLA）和 Lite-Sparse（LSA），最显著的变化集中在 Agent 相关任务上：
Agent 编码方面，SWE-Bench Verified 从 54.40 跃升至 68.20（+13.8 个百分点），SWE-Bench Multilingual 从 38.10 升至 59.33（+21.2 个百分点）。在 SWE-Bench Pro 上 Lite-Sparse 达到 40.63——美团没有公布 Lite-Dense 在这一 benchmark 上的成绩，但作为参考，LongCat-2.0（1.6T 参数版本）在 SWE-Bench Pro 上约 59.5。
Agent 工具使用的提升更为突出：τ²-Telecom 从 72.80 升至 95.18（+22.4pp），VitaBench 从 7.00 升至 21.67（+14.7pp）。在 Agent Search 方面，BrowseComp 达到 48.62，BrowseComp-zh 为 61.94——这两项 Lite-Dense 未报告，是 LSA 新增的能力评估维度。
通用能力基本保持不变：MMLU 从 85.52 微降至 85.31（-0.2pp），MMLU-Pro 从 78.29 升至 79.24（+1pp），GPQA-Diamond 从 66.78 升至 69.49（+2.7pp）。数学推理方面，MATH500 维持 96.80，AIME 2026 达到 65.73。
这些数字显示，两版模型的差异主要集中在 Agent 编码和工具任务。但架构、训练和后训练变化都可能影响成绩；缺少充分消融时，不能把全部提升归因于稀疏注意力。
百万上下文的检索和记忆测试仍有提升空间
在长上下文专项评估中，Lite-Sparse 的表现中等偏上。MRCR（8-needle 检索）44.66、GraphWalks Extend（多步推理）66.27、LongBench-v2 52.50——这些结果提示，支持 1M token 的输入窗口，与在窗口内可靠定位和整合信息，是两项不同的能力。AMemBench-ACU（长程记忆）仅 33.25，说明该记忆任务仍有提升空间，具体原因不能仅凭分数确定。
值得注意的是，层级索引（HI）开关在长上下文 benchmark 上的影响几乎为零——这进一步表明 HI 的优化方向可能不是精度，而是推理速度或内存占用。
与 MLA 加 DSA 的组合相比，缓存和计算各有取舍
LongCat-Flash-Lite-Sparse 做了一次重要的架构选择：用稀疏注意力完全替代 dense 注意力，而不是像 DeepSeek V3.2 和 GLM-5 那样在 MLA 上叠加 DSA。
这个选择的实际后果是什么？DeepSeek 路线保留了 MLA 的 KV 压缩能力，DSA 在此基础上进一步减少需要实际计算的 token 数——两层优化叠加。但代价是架构复杂度：MLA 的低秩压缩 + DSA 的索引器 + 稀疏注意力，三个模块耦合在一起。LongCat 路线是单层优化——只用 LSA 处理稀疏性——架构更简洁，激活参数约为 3B。即使注意力层的绝对效率略低于 MLA+DSA 组合，也需结合显存占用、吞吐和任务长度，才能比较整体推理成本。
从 Meituan 公布的部署配置来看，Lite-Sparse 可以在单节点（1×H20-141G）上用 SGLang 启动，--nsa-prefill-backend fa3 参数表明预填充阶段使用了 FlashAttention 3 后端，稀疏注意力主要在 decode 阶段发挥作用。
目前主要依据厂商自测，仍需独立部署验证
作为参考，可比较 Qwen3.5 35B-A3B（Apache 2.0）和规模更大的 DeepSeek V4 Flash 284B/13B-A（MIT）；后者并不属于同一激活参数量级。Lite-Sparse 的注意力架构创新使其在长上下文 Agent 场景中有差异化优势，但通用 benchmark（MMLU 85.31）距离 DeepSeek V4 Flash 仍有差距。
需要明确的局限：所有 benchmark 数据来自美团自评，未经独立第三方验证。技术报告已在 HuggingFace 发布。评估其架构收益，还需结合索引机制的具体实现、训练数据和消融实验。模型在真实生产环境中的表现、多语言能力的一致性和安全性评估，美团在模型卡中坦承「尚未针对所有下游应用进行全面评估」。
DSA、LSA、MiniMax Sparse Attention 等方案，正在探索减少长上下文计算的不同办法。这些方法与 KV 压缩可以有不同组合，不能概括为一条路线必然取代另一条。LongCat 的结果提供了一个公开案例，后续可观察它在更大模型和真实任务中的表现。
