7 月 27 日,Moonshot AI 按此前承诺,将 Kimi K3 的完整模型权重上传至 Hugging Face。7 月 16 日模型公开后,公司和第三方已发布多项评测;这次开放权重,则让有相应硬件的团队可以自行部署、检查模型,并在自己的环境中复现结果。此前第三方也能通过 API 评测模型,只是无法检查权重和部署过程。
K3 采用 MoE(混合专家)架构,规格包括:2.8 万亿总参数,896 个专家中每 token 激活 16 个(外加 2 个共享专家),1M token 上下文窗口,原生多模态输入。Moonshot 将它称为全球首个开放权重的 3T 级模型。它的总参数量超过 DeepSeek V4 Pro(1.6T)和 GLM-5.2(753B),但参数量本身不能决定各项任务的表现。
权重发布后,除了评测排名,部署条件也需要说明:下载开放权重,并不意味着普通电脑就能运行完整模型。
K3 如何用混合注意力和专家路由提高训练效率
理解 K3 如何扩展到 2.8T 参数,需要看三项架构设计。
Kimi Delta Attention(KDA) 与 Gated MLA 混合使用,改变了 K2 系列主要依赖 Multi-head Latent Attention(MLA)的注意力设计。模型卡列出 69 层 KDA 和 24 层 Gated MLA;1 层 Dense 是前馈层的另一种分类,不能再与前两项相加。Moonshot 称,架构、训练和数据方案共同带来相对 K2 约 2.5 倍的整体扩展效率改善,意在用同等计算投入获得更好的模型表现;这不是单独测得的 KDA 加速倍数。
Attention Residuals(AttnRes) 调整了层间信息传递。传统残差连接逐层累加表示;AttnRes 则让模型选择和加权不同深度的表示,以改善信息利用。这样,后续层可以有选择地使用此前各层的信息。
Stable LatentMoE 用来支持更稀疏的专家结构。在 896 个专家中每次选 16 个,对路由和训练稳定性提出了更高要求。Moonshot 引入 Quantile Balancing,直接依据路由器分数的分位数分配专家容量,减少启发式更新并移除一个敏感的平衡超参数;Per-Head Muon 则分别优化各注意力头。公司称,这些设计有助于稳定地训练 2.8T 模型。
此外,K3 从监督微调(SFT)阶段开始就采用量化感知训练(QAT),使用 MXFP4 权重和 MXFP8 激活值,让模型在训练期间适应低精度计算。官方发布的文件采用混合精度格式,实际体积还包括其他精度的张量等数据。
多项评测排名靠前,幻觉率也有所上升
公司自报和独立评测都显示,K3 在不少任务中接近领先模型。具体是否适用,仍需分别看任务类型、评测环境与成本,不能用一个排名概括所有能力。
Artificial Analysis 在首发评测中给出的 Intelligence Index 分数为 57,与 GPT-5.5(57)相同,略高于 Claude Opus 4.8(56),低于 Claude Fable 5(60)和 GPT-5.6 Sol(59)。在 AA-Briefcase(智能体知识工作)上,K3 的 Elo 达到 1547,比 K2.6 跃升 732 分,仅次于 Fable 5。GDPval-AA v2(真实世界 Agent 场景)的 1668 Elo 超过了 GLM-5.2 和 GPT-5.5。
Moonshot 的自报表格覆盖了 40+ 项评测。最突出的成绩包括:BrowseComp 91.2(在上下文压缩策略下)、Terminal-Bench 2.1 88.3、SWE-Marathon 42.0(领先 Fable 5 的 35.0 和 Sol 的 39.0),以及 MCPMark-Verified 94.5(大幅领先 Fable 5 的 87.4)。
这些数字需要结合测试设置理解。Moonshot 披露,在 SWE-Marathon 上使用了基于 H20 重新校准的评测分支(非官方 v1.1 最终版),且 Fable 5 在 35% 的任务中触发了回退机制(fallback),可能影响其得分。在 PostTrainBench 上也使用了 H20 而非官方要求的 H100 环境。此外,多个评测使用 Kimi Code 作为智能体运行框架(harness),其他模型则可能使用 Claude Code 或 Codex。结果包含框架和模型的共同影响,不能全部归因于模型本身。
回答可靠性也需要单独衡量。Artificial Analysis 的 AA-Omniscience 数据显示,K3 的准确率从 K2.6 的 33% 提升到 46%,但该评测的幻觉率也从 39% 上升到 51%。两项指标的统计口径不同,应分别理解:模型答对了更多问题,但对不确定问题的处理仍需检查。
Moonshot 也说明了对话使用中的局限,包括与 Fable 5 和 Sol 的体验差距,以及多轮交互对思考历史的依赖。模型卡要求运行框架完整传回历史推理内容和工具调用,遗漏可能影响效果。模糊指令下「过度主动」、替用户作出不必要决定的行为,也需要在实际工作流中测试。
完整权重约 1.56TB,自行部署需要多大显存
K3 的权重可公开下载,但自行部署仍需要较大的内存容量和合适的计算、通信条件。开放许可与硬件门槛是两回事。
官方 Hugging Face 文件库显示体积约为 1.56TB。4 块 H100 80GB 合计只有 320GB 显存,8 块也只有 640GB;8 块 H200 141GB 约为 1.1TB。这些容量都不能直接容纳完整发布权重,更不能仅凭缩短到 128K-256K 或 512K 上下文,就认定配置足够。缩短上下文能减少缓存需求,却不会自动缩小模型权重。Moonshot 为提高推理效率,建议使用 64 个或更多加速器、具有高带宽互联的超节点配置;这是推荐方案,不能反过来当作所有部署方式的最低卡数。
社区量化也要核对实际文件。仅按 2.8 万亿参数、每参数 4 位粗算,权重就约为 1.4TB,尚未包括额外数据,超过 512GB 统一内存工作站的容量。若使用更低精度、专家裁剪或把部分权重放到其他存储中,还需要分别测量效果和速度;是否能运行与是否达到可用速度,是两个问题。
即使多数个人用户难以自行运行,开放权重仍让有算力的研究团队和服务商能够复现评测、研究架构、测试量化,并提供不同部署方案。权重也为分析可能的训练数据痕迹提供条件,但不能据此完整还原训练集。K3 使用专门的 Kimi K3 License,使用者还需阅读具体条款,不能将开放权重等同于没有使用限制。
不自行部署的用户可调用 API。K3 首发定价为每百万输入 token $3.00(缓存命中 $0.30)、每百万输出 token $15.00;对应单价约为 K2.6 的 3-4 倍,具体倍数取决于输入、输出和缓存口径。Artificial Analysis 的 Intelligence Index 任务平均成本为 $0.94,与 GPT-5.6 Sol 的 $1.04 接近,约为 Opus 4.8 的一半。这是特定任务集的结果,不代表任意业务都具有同样成本比例。
K3 的评测分数更高,DeepSeek 和 GLM 的调用成本更低
比较开放权重模型,需要同时看能力、价格和部署条件。
在上述首发 AA 指数中,K3 得分接近 Opus 4.8 和 GPT-5.5,高于 DeepSeek V4 Pro(44)及 GLM-5.2(51)。调用价格则还要看服务商:OpenRouter 7 月 13 日的价格快照中,DeepSeek 自营服务的 V4 Pro 输入价为每百万 token $0.435,约为 K3 首发输入价的 14.5%;另一些服务商报价为 $1.74。GLM-5.2 在上述 AA 任务集的平均成本为 $0.32。单价和任务平均成本分别反映不同开销,选型时仍需结合实际输入、输出及缓存使用量。
对缺少大型硬件集群的团队,API 通常更容易使用;具体选择 K3、DeepSeek 还是 GLM,仍要用自身任务测试效果与总费用。有能力部署的团队则可以考虑数据控制、定制和长期成本。K3 的权重公开扩大了这些选择,但并未消除硬件门槛,也不足以证明它在所有能力上追平闭源领先模型。
推理优化还会影响后续成本。Moonshot 表示,KDA 对传统前缀缓存(prefix caching)构成挑战,团队已经向 vLLM 社区贡献了相应的实现。通过 KDA 与预填充缓存(prefill cache)配合,Moonshot 称可以改善服务成本,以应对模型规模和长上下文的开销。社区验证应关注实际吞吐、缓存命中条件和任务效果,才能判断这一优化能降低多少费用。
后续仍有几项问题需要验证。 Anthropic 在 2026 年 2 月指控 Moonshot 通过逾 340 万次 Claude 交互进行蒸馏;这是该公司的指控,权重公开本身不足以证明或排除它。社区还需复现 Moonshot 自报评测,并测试 MXFP4 量化感知训练在不同部署条件下的效果损失。
如果低精度训练能在实际部署中较好地保持模型效果,就能为其他超大模型提供参考:训练阶段同时考虑推理硬件和成本。它能否普遍适用,仍需要更多模型、硬件和任务上的结果,不能仅由 K3 的一次发布确定。

