文本越长，密集注意力需要计算的关系越多
2017 年，Google 的研究者发表了一篇题为 "Attention Is All You Need" 的论文，Transformer 架构从此成为大语言模型的事实标准。其中一项长文本计算开销来自密集注意力（dense attention）。
密集注意力的工作原理可以简化成这样：模型处理一段文本时，先把每个 token（词或词的一部分）编码成一个数字向量，然后通过查询与键向量的点积，计算 token 之间的注意力分数。如果按 10,000 个 token 的因果注意力估算，位置对约有 5,000 万个；每次向量点积包含多次标量运算，不能把它理解为同样数量的独立乘法 MIT Technology Review。
这种计算量随输入长度平方级增长——文本长度翻倍，计算量约翻四倍。这就是所谓的 O(n²) 或"二次方"瓶颈。这主要描述训练或输入预填充阶段的密集注意力计算；使用 KV cache 逐 token 解码时，新 token 的注意力计算随已有上下文长度线性增长。整模型还包含其他计算，窗口和成本也受内存、训练数据及产品设计影响。
Subquadratic 的 CEO Justin Dangel 给出了一个直观的比喻："如果你想总结《了不起的盖茨比》，你必须把第一个词和最后一个词放在一起看，然后你还得看其他每一种组合。"
动态选择需要计算的位置，具体路由方法尚未公开
2026 年 5 月，一家位于迈阿密的初创公司 Subquadratic 带着 2,900 万美元种子轮融资走出隐身模式，宣称其动态稀疏注意力能显著降低长文本开销。
他们的方案在概念上并不复杂：抛弃密集注意力，改用稀疏注意力（sparse attention）。不对所有 token 对做乘法，只选择其中一部分进行计算。核心逻辑是——一句话里不是所有词之间的关系都重要。
Subquadratic 的联合创始人兼 CTO Alex Whedon 说得很直白："如果你在读一本书，你不会去看第一个和第二个词、第一个和第三个词——那是疯了。"
稀疏注意力本身并不是新概念。Longformer、BigBird 等已探索稀疏连接。FlashAttention 的常用密集版本则主要优化读写与计算组织，仍计算精确注意力，不能直接归为稀疏近似。不同方法对质量和效率的影响，要在具体任务与训练条件下比较。
Subquadratic 声称自己的差异在于动态选择。Whedon 说："历史上，大多数机制使用固定模式，比如总是比较第一个词和第五个词。那相当有限。语言太复杂了，不适用于那种方式。我们机制独特的一点在于，我们动态地选择哪些是重要的。"
具体怎么选？公司拒绝透露细节。"这就是我们的秘密配方所在，"Whedon 说 MIT Technology Review。
Appen 受托测试内核速度、长文本检索与代码生成
最初，Subquadratic 只发布了少量自测分数，立刻招来了大量质疑。一些讨论把它与重大突破或技术炒作联系起来，但这类评价不能替代测试证据。 TNW
为了回应质疑，Subquadratic 请来了第三方评测机构 Appen 对 SubQ 1.1 Small Preview 模型进行独立评估。Appen 是一家为前沿 AI 公司提供数据标注和模型评估服务的企业，其评测结果在 6 月中旬公布。
关键数据如下：
速度测试：Appen 的另一份内核报告在 B200、100 万 token 的特定设置下，测得 SSA 约为 FlashAttention-2 的 56 倍速度。这是所测注意力内核的比较，并非完整模型生成文本普遍快 56 倍（内核测试报告）Appen。
长上下文检索：Needle-in-a-Haystack（大海捞针）测试中，SubQ 在 100 万和 200 万 token 上下文窗口下达到 100% 检索准确率；在 600 万和 1,200 万 token 下，nano 变体仍保持 98% 的精确匹配准确率。每档仅 50 个样本，单条事实检索也不能代表跨文档推理 Appen。
代码生成：LiveCodeBench（一个从实时竞赛平台持续抽取编程题目的基准，题目不断更新以限制数据污染）上，SubQ 在 1,055 道题、每题 4 次补全的评估中取得 89.7% 的 pass@4 分数，即每题四次尝试中至少一次通过的估计比例；与其他模型比较时，还需统一题目时间窗、尝试次数和运行条件 Appen。
成本对比：Subquadratic 声称，用 Anthropic 的 Opus 4.6 运行 RULER 128（Nvidia 开发的长上下文检索测试）成本约 2,600 美元。Dangel 称 SubQ 只花了 8 美元；这是公司提供的成本比较，仍需对齐计费、硬件、任务质量和测试范围 MIT Technology Review。
Appen 生成式 AI 研究总监 Jeanine Sinanan-Singh 的评价是："这对我来说真的很兴奋，它验证了他们的架构。""哇，这可能是改变游戏规则的东西，因为模型在速度和效率方面一直很挣扎。"
架构贡献、访问范围与测试披露仍需补充
Appen 的受托测试提供了证据，但并未回答全部问题：
1. 使用 Qwen 权重，需要同条件对照判断架构贡献
SubQ 并不是从零开始训练的全新模型。Subquadratic 承认，他们使用了中国开源模型 Qwen 的权重作为起点，然后替换了其中的注意力机制。这本身是行业常见做法（很多模型公司都从开源权重起步微调），但问题在于：这让你很难区分模型的能力到底来自新的注意力架构，还是来自 Qwen 本身已有的能力 MIT Technology Review。
这也对应 AI Weekly 提出的一项问题：在相同基础权重、训练与评估条件下，对比保留和替换注意力后的表现。这样的消融才有助于判断架构贡献。 AI Weekly
2. 测试访问有限，外部研究者难以广泛复现
Subquadratic 声称已有数万人注册了等候名单，其中包括 500 多家企业。但截至目前，只有极少数人获得了访问权限。公司的解释是：作为一家新公司，资源有限，无法同时服务太多用户。独立研究者 Will Depue（前 OpenAI 员工）的评论代表了谨慎派的立场："他们可能确实构建了一些真实且有用的东西，但公开证据尚不足以支持他们解决了二次方注意力瓶颈这一更强的声明。" MIT Technology Review
3. 图表展示受到质疑，账号身份尚无定论
在 Hacker News 上，SubQ 的发布引发了激烈讨论。有用户指出，公司官网的一张图表可能造成误读：将 SubQ 在 SWE-bench 上的 81% 得分与 Claude Opus 的 87% 得分放在一起，图表比例尺使得两者之间的差距看起来极小。Subquadratic 的团队成员在 HN 上回应称这并非故意，但该图表随后被移除 Hacker News。
此外，多位 HN 用户指出，讨论串中出现了大量创建时间极短的新账号为 SubQ 背书，部分评论甚至与 X 上的内容完全一致——这些是用户对账号行为的怀疑，尚不能据此确认账号由公司控制 Hacker News。
4. 团队人数报道不一，融资不能证明技术成效
Subquadratic 据报道仅有 4 人（也有说法称团队共 11 位 PhD），但获得了 2,900 万美元种子轮融资，投资者包括 Justin Mateen（Tinder 联合创始人）以及 Anthropic、OpenAI、Stripe 和 Brex 的早期投资人。据报道估值为 5 亿美元 TAMradar。CEO Justin Dangel 被认为是一位连续创业者但缺乏 AI 背景，而 CTO Alex Whedon 曾在 Meta 工作，毕业于杨百翰大学。
Magic 的长上下文研究，也需要区分演示与产品交付
Magic.dev 同样研究超长上下文，可作为观察技术披露与产品交付关系的另一案例。
Magic.dev 是一家旧金山 AI 编码初创公司，此前累计融资达数亿美元，投资方包括 Eric Schmidt、Atlassian、Sequoia、Jane Street 等顶级机构。2024 年曾以 15 亿美元估值寻求融资，尽管当时"没有任何收入，也没有可供销售的产品" Reuters。该公司在 2024 年公开过 1 亿 token 上下文研究。公开更新频率和可访问产品情况，需要以公司资料为准，不能只用商业数据库页面判断研发是否停滞 Tracxn。
两家公司的共同问题，是怎样把长上下文演示转化为可重复使用的产品。融资金额、上下文上限与真实任务能力属于不同维度，不能用其中一项代替另外两项。
Subquadratic 提供了 Appen 的受托评测，Magic 则有其自身研究材料；这些证据应分别评估。Subquadratic 报道中的 2,900 万美元融资与 5 亿美元估值，也无法直接说明投资者比其他公司的投资者更审慎。
若速度与质量能够同时复现，长文本应用可能降低成本
如果 SubQ 在更多场景兑现效率与质量承诺，可能带来以下变化：
单次长文本任务的计算需求可能下降。如果稀疏注意力能显著减少计算量，代码库分析、法律文档审查、科学文献综述等长上下文任务就可能节省算力。但单次任务更省算力不等于行业 GPU 总需求必然下降，新增使用量可能改变结果。
长上下文应用可能更容易控制成本。如果所报告的 2,600 美元与 8 美元差异在相同质量和计费条件下复现，大量目前因成本过高而无法落地的企业应用场景——全库代码审查、整份合同集分析、大批量文档对勘——可能更容易落地。
动态稀疏注意力可能获得更多研究投入。Dangel 声称："我们不认为几年后还会有人基于 Transformer 构建模型。" MIT Technology Review 如果 SubQ 的路径被验证，如何在保持质量的同时减少注意力计算，可能吸引更多研究投入。
但这一切的前提是：SubQ 能够在公开、大规模、多样化场景下，持续复现 Appen 在受控测试环境中的表现。
下一步看同条件对照、公开访问和真实任务表现
现有材料支持继续检验这条技术路线，但尚不足以把局部内核提速推广为整模型与全部应用的收益。
从积极面看，Subquadratic 已提供若干可供判断的材料：有第三方独立评测（Appen），有已发布的技术博客和模型卡，有正在进行的私人测试版，有愿意在 Hacker News 上与社区直接对话的团队。CTO Whedon 也坦承了教训："事后看来，在最初公告的同时发布第三方基准测试，本可以避免很多怀疑。" MIT Technology Review
还需要补充的证据包括：更广泛的 API 访问、用于区分架构贡献的消融实验，以及更多真实任务测试。团队背景不能代替这些证据。
Will Depue 将稀疏注意力的成功比作"跑进四分钟一英里"——并非不可能，但极少有人做到。对 Subquadratic 的判断，需要把受托评测与更广泛的复现放在一起看。公开访问之后，其他团队能否在各自任务中复现速度与质量，将是更有说服力的证据。
本文基于 MIT Technology Review、TNW、Appen 白皮书、Hacker News 讨论、Reuters 等来源的公开信息撰写。截至发稿时，SubQ 模型尚未向公众开放。
