网硕互联帮助中心摘要
2026年7月16日，月之暗面（Moonshot AI）在世界人工智能大会期间正式发布新一代开源基础模型Kimi K3。该模型总参数规模达2.8万亿，是全球首个进入3万亿（3T）级别的开源权重模型，原生支持视觉理解，上下文窗口达100万token。本文基于官方技术博客、第三方独立评测与多家媒体报道，从架构框架与性能数据两个维度对Kimi K3进行系统性分析：在架构层面，重点剖析Kimi Delta Attention（KDA）混合线性注意力、Attention Residuals（AttnRes）注意力残差、Stable LatentMoE稀疏混合专家框架及量化感知训练等关键技术；在数据层面，逐项对比K3与Claude Fable 5、GPT-5.6 Sol等前沿闭源模型在编程、智能体与知识工作基准上的表现。分析表明，K3通过“架构效率优先”的技术路线，将整体扩展效率较前代K2提升约2.5倍，并在长程智能体与编程任务上达到开源模型前所未有的高度，综合智能位列全球第四、开源第一。最后，本文从四个维度归因其先进性，并客观讨论其局限。
关键词：Kimi K3；混合专家架构；线性注意力；量化感知训练；长程智能体；开源大模型
一、引言
自2022年末大语言模型进入公众视野以来，开源与闭源两条技术路线之间的竞争始终是行业关注的焦点。2025年至2026年间，开源模型在参数规模与能力边界上持续逼近闭源旗舰，而Kimi K3的发布将这一趋势推向了新的临界点：2.8万亿的总参数规模使其超越DeepSeek-V4-Pro（1.6万亿），成为迄今参数量最大的开源权重模型，同时也是全球首个迈入3T级别的开源模型。
值得注意的是，K3的意义并非单纯依赖参数堆砌。在过去12个月中，Kimi系列有9个月保持开源模型的规模上限，从K2到K3的快速迭代背后，是一套围绕“稀疏化、线性化、量化”展开的系统性架构工程。理解K3为何先进，需要回答三个问题：其一，2.8万亿参数如何被“驯服”为可训练、可推理、可负担的系统；其二，各项基准数据究竟说明了什么；其三，其技术路线对整个开源生态意味着什么。本文即围绕这三个问题展开。
二、模型概况与核心规格
Kimi K3是一款稀疏混合专家（Sparse Mixture-of-Experts）大语言模型，主要面向长程编程、知识工作与深度推理等高智能需求场景。模型原生支持视觉理解，可接受文本与图像输入；上下文窗口达100万（1,048,576）token，相当于一次性处理《三体》三部曲体量的文本。模型分为K3 Max（通用对话与智能体任务）与K3 Swarm Max（大规模并行子智能体协同）两个版本，完整权重以修改版MIT许可证（Modified MIT License）于2026年7月27日前公开。其核心规格如下表所示：
| 发布方 / 发布时间 | 月之暗面（Moonshot AI），2026年7月16日 |
| 架构类型 | 稀疏混合专家（Sparse MoE）自回归Transformer |
| 总参数 / 激活参数 | 2.8万亿 / 约410亿（896个专家中激活16个） |
| 核心技术 | KDA混合线性注意力、AttnRes注意力残差、Stable LatentMoE |
| 上下文窗口 | 100万（1,048,576）token |
| 多模态能力 | 原生支持视觉理解（文本+图像输入） |
| 量化方案 | 量化感知训练：MXFP4权重 + MXFP8激活 |
| 版本 | K3 Max（通用）、K3 Swarm Max（并行多智能体） |
| 开源协议 | 修改版MIT许可证（Modified MIT），权重2026年7月27日前公开 |
| 扩展效率 | 较前代K2提升约2.5倍 |
三、架构框架分析
参数规模的提升只是表象，K3真正的技术价值在于其架构设计如何让万亿级参数“可训练、可推理、可负担”。本节按注意力机制、深度信息流、专家路由、训练优化与部署量化五个层面逐一拆解。
3.1 Kimi Delta Attention（KDA）混合线性注意力
传统全量注意力（Full Attention）的计算量随序列长度呈平方级增长，在百万token级上下文中，显存占用与解码延迟都会膨胀到不可用程度。KDA是月之暗面自研的混合线性注意力机制，其核心思想是将长上下文拆分为“已压缩的历史状态”与“新到来的增量（Delta）”两部分：历史部分以线性方式维护一个紧凑的记忆状态，新token仅需重点关注变化部分，从而把超长序列的注意力开销从平方级压回近似线性。
官方数据显示，KDA在百万token场景下可实现最高6.3倍的解码加速。这一数字的工程意义在于：100万token上下文从“实验室里的对标指标”变成了“生产环境中可负担的能力”，这是K3能够原生支持超长上下文窗口的架构基础。
3.2 Attention Residuals（AttnRes）注意力残差
深度网络中，信息从浅层向深层传递时存在衰减与稀释问题——模型层数越深，早期层学到的有效特征越容易被中间层“冲淡”。传统Transformer在各层之间均匀累积表示，而AttnRes改变了信息在深度方向的流动方式：它允许模型在不同层级之间有选择地检索表示，而非无差别地逐层叠加。换言之，模型可以自行决定哪些信息从浅层直接取用、哪些需要深入底层加工，相当于在层间架设了“信息高速公路”。
官方给出的收益数据是：以不到2%的额外计算开销，换来约25%的训练效率提升。在处理复杂、混乱的长文本时，AttnRes显著加深了模型的上下文理解深度，保持长距离语义的连贯性。
3.3 Stable LatentMoE 稀疏混合专家架构
K3的MoE层共配置896个专家模块，每个token仅激活其中16个，稀疏度约1.8%——这一稀疏水平在业界属于相当激进的设计。“大总参、小激活”的结构使模型能够以2.8万亿的参数库存储知识与规律，但单次前向推理仅调用约410亿激活参数，在控制计算成本的同时最大化模型容量。
如此高的稀疏度对路由稳定性与训练收敛提出了严峻挑战。Stable LatentMoE框架正是为此设计：它在潜在空间（Latent Space）中稳定大规模稀疏训练的动态，确保896个专家在长达数万亿token的训练过程中保持负载均衡与梯度稳定。
3.4 路由与训练优化机制
围绕稀疏MoE的训练，K3引入了三项配套机制：
3.5 量化感知训练与推理部署优化
K3从监督微调（SFT）阶段起即应用量化感知训练（Quantization-Aware Training, QAT），采用MXFP4权重与MXFP8激活的组合，而非训练完成后再做量化压缩。这一路线使模型权重显存占用降至传统16比特精度的约四分之一，同时最大限度保留了精度。
在系统层面，为防止大规模专家并行（Expert Parallelism）下的负载失衡拖垮吞吐，K3采用了完全均衡的专家并行训练方法，关键路径上无主机同步；推理侧，官方建议以64卡以上超节点（Supernode）配置部署，并向vLLM社区贡献了适配KDA的前缀缓存（Prefix Caching）方案。这些工程优化共同支撑了K3在2.8T规模与百万上下文下仍具竞争力的token定价：缓存命中输入0.30美元/百万token、未命中3.00美元/百万token、输出15.00美元/百万token，约为Claude Fable 5定价的三分之一。
四、基准性能数据分析
4.1 编程与长程智能体基准
编程与长程智能体任务是K3最核心的优势区。官方评测与第三方复核显示，K3在六项编程基准中稳定位居前三，并在SWE Marathon与Program Bench上领先全部参评模型：SWE Marathon取得42.0分，高于Claude Fable 5的35.0分与GPT-5.6 Sol的39.0分；Program Bench取得77.8分，高于GPT-5.6 Sol的77.6分与Fable 5的76.8分；Terminal Bench 2.1取得88.3分，仅以0.5分之差次于GPT-5.6 Sol的88.8分。在需要深度网页检索能力的BrowseComp上，K3以91.2分超过GPT-5.6 Sol（90.4）与Fable 5（88.0）。其短板出现在FrontierSWE（81.2分对Fable 5的86.6分）与DeepSWE（67.5分，排名第三）上。
特别值得一提的是独立第三方评测Frontend Code Arena（前端代码竞技场）：该评测采用匿名双盲投票机制，开发者对同一任务的两个匿名模型输出投票，身份在投票后才揭晓，可有效降低品牌偏误。K3上线首日即以1679 Elo分登顶全球第一，超过Claude Fable 5（1631）与GPT-5.6 Sol（1618），并在七个前端细分方向中六项排名第一。
图1：Kimi K3与前沿闭源模型在编程及智能体基准上的对比
4.2 通用智能体与知识工作基准
在通用智能体方向，K3在Automation Bench（30.8分）与SpreadsheetBench 2（34.8分）上均列第一，JobBench以52.9分次于Fable 5的57.4分；视觉智能体方向，ZeroBench（带工具）取得41.0分与GPT-5.5并列第一，CharXiv RQ（带工具）91.3分仅次于Fable 5。在知识工作类基准上K3呈现全面领先态势：Online Exp Bench 75.5分（GPT-5.5为70.6、Claude Opus 4.8为65.9）、DECK-Bench 73.5分、Finance-Bench 62.6分均超过所有参评闭源模型。此外，发布时官方报告其在GPQA Diamond上取得93.5%，为该基准有记录以来开源权重模型的最好成绩。
4.3 综合排名与短板分析
综合维度上，K3在Artificial Analysis Intelligence Index v4.1中取得57.11分，位列全球第四，次于Claude Fable 5（59.86）、GPT-5.6 Sol max（58.89）与GPT-5.6 Sol xhigh（57.65），高于Claude Opus 4.8（55.69）、Grok 4.5（53.83）与GLM-5.2（51.09），稳居开源模型第一位。
在与Claude Fable 5的14项共同基准对比中，Fable 5赢下约8项、K3赢下约6项：K3胜出的集中在长程智能体编程、BrowseComp与Terminal Bench 2.1等“做事型”任务，Fable 5则在更广义的推理与视觉任务上保持优势。月之暗面在官方文档中亦坦承，K3整体表现仍落后于两款最强闭源模型，在智能体环境切换时对推理历史的丢失较为敏感，综合易用性存在差距。这种如实披露短板的态度反而为其赢得了社区的尊重。
图2：Artificial Analysis综合智能指数排名（2026年7月）
4.4 长程工程实战案例
基准分数之外，K3在长程工程自治上的表现更能说明其能力性质。据官方与媒体披露的案例：K3曾一次性处理87份季度报告、超过11000页的材料，生成覆盖ASIC芯片行业42年历史的交互式研究报告；在两小时内重现了计算天体物理学中的I-Love-Q通用关系——期间查阅20余篇论文、评估300多个状态方程、编写3000余行代码，而同类工作资深研究者通常需要一至两周；另有案例显示其约1.5小时从零完成火星登陆全流程仿真，代码一次通过。这些案例共同指向一个结论：K3的优势不在单轮问答的“答题”，而在数十小时尺度上连续推进复杂项目的“做事”。
五、先进性归因分析
综合架构与数据两个层面，K3的先进性可归结为以下四点。
第一，架构效率优先于参数规模。 KDA解决长序列问题、AttnRes解决深度信息流问题、Stable LatentMoE解决稀疏路由问题，三项创新分别对应注意力、深度与宽度三个维度的效率瓶颈。叠加训练方法与数据配方的优化，K3相比K2的整体扩展效率提升约2.5倍——同等算力投入可转化出更多能力。这是其先进性的根本来源。
第二，“以内存换算力”的务实工程路线。 在高端算力获取受限的背景下，内存资源相对易得；K3通过极致稀疏的MoE结构（每token仅激活约1.8%的专家）与MXFP4/MXFP8量化感知训练，把算力瓶颈部分转移为内存需求，为受限环境下的前沿模型训练开辟了可行路径。
第三，智能体优先的训练导向。 K3并未追求传统问答基准的全面刷分，而是围绕长程编程、终端工具编排与多步知识工作进行定向优化，因此在SWE Marathon、BrowseComp、Frontend Code Arena等“深度做事”评测中全面领先，形成与闭源旗舰差异化的能力长板。
第四，开源规模积累的复利效应。 过去12个月中Kimi系列有9个月保持开源模型规模纪录，从K2到K3的快速迭代在数据配方、训练方法与工程经验上形成复利；而修改版MIT许可证的开放权重策略，又使其能力得以被整个开发者生态直接复用与验证。
六、局限性与讨论
客观地看，K3仍存在四方面局限。
此外，所有前沿模型共同面临的基准饱和与训练数据污染问题，在解读上述分数时也应保持必要的审慎。
七、结论
Kimi K3的价值不只在于2.8万亿这一数字，而在于它证明了两件事：第一，通过KDA、AttnRes与Stable LatentMoE构成的架构组合，万亿参数级模型可以在稀疏化、线性化与低比特化的技术路线下被高效训练与部署，扩展效率较前代提升约2.5倍；第二，开源模型已经能够在长程智能体、编程与知识工作等最复杂的任务类别上与最强闭源模型同台竞争，并在其中多项取得第一。它仍有明显短板——综合推理、易用性与部署成本——但作为全球首个3T级开源模型，K3为开源阵营树立了新的标杆，也为后续研究提供了一条清晰的技术路线：未来的模型竞争，将越来越多地取决于架构效率而非参数规模本身。
评论前必须登录！
注册