KIMI K3.1 Pro 拆解：钱全砸在后训练

2026 年 10 月 24 日凌晨，月之暗面放出 K3.1 系列的首款模型 Kimi K3.1 Pro。总参数 2.8 万亿，上下文窗口 100 万 token，官方称代码、3D 创作、金融研究和长程 Agent 能力都有明显提升，完整权重会在 11 月 4 日前开放。

参数量这个词已经不太能刺激人了。万亿在 2025 年是新闻，到 2026 年底更像是入场券——同期 Mistral Large 4 也是万亿级开放权重，Google 的 Gemini 4 Argon 已经把 100 万 token 上下文做到 GA，并且直接公布了 introductory pricing（$2/$10 per million，11 月 30 日后翻倍到 $4/$20）。

真正值得看的是另一件事。月之暗面自己说，这次是 K3 的后训练版本，后训练算力大幅增加，RL 扩展到了数百个下游领域，为此重构了 RL 框架、长上下文推理、训练效率、沙箱基础设施和调度系统。

基座没换，钱和工程全砸在后训练和让 RL 跑得动的地基上。这个动作本身就是产品判断。

一、产品视角：谁在用，他们到底要什么

谁在用

Kimi 从 2023 年打的就是长文本这张牌，早期吸引的是需要处理大量材料的人：读论文的学生、啃合同和招股书的律师与投资人、整理长篇会议记录的职场人。这批人对"一口气读完 200 万字"有真实需求，而且愿意为它忍受一个不算快的界面。

但 K3.1 Pro 的口径变了。Terminal-Bench 4.0 是考察编程智能体的测试，官方演示的是用 Unreal Engine 5.8 搭场景、用 Godot 4.7.2 从零做出含 5 个探索区域和两阶段 Boss 战的 3D 动作游戏，都强调端到端交付。再结合"从零搭建一个完整项目"的措辞，目标用户已经从"帮我读"偏向"帮我做"。

这个转向有背景。据公开报道，进入 3.0 时代后月之暗面的重心正从参数竞赛转向场景交付，公司处在约 500 亿美元估值和推进赴港 IPO 的前夜。要撑住这个估值，需要的是可交付的能力故事，而不只是榜单排名。

他们到底要什么

拆开看，这两拨人的需求其实不一样。

读材料的人要的是不遗漏。一份 300 页的招股书里有没有一条对赌条款，漏了比慢了严重得多。

做东西的人要的是能跑通。生成的代码能不能编译过、依赖版本对不对、跑起来是不是想要的效果。

前者可以容忍一次回答三分钟，后者不能容忍一个跑不起来的项目。所以 1M 上下文和长程 Agent 在这里其实是两个不同的产品承诺：一个是"装得下"，一个是"做得完"。这两个承诺背后是两套完全不同的技术投入，后面技术视角会展开。

从"读"到"做"，中间隔着什么

这两拨人不是非此即彼。真实的使用过程往往是先读后做：先让它消化一批材料，再基于材料产出东西。

这个"先读后做"的链路，恰好解释了为什么 1M 上下文和长程 Agent 会出现在同一个模型上——它们不是两个卖点，是一条流水线的上下两段。上段负责把 300 页压缩成可操作的结论，下段负责把结论变成能跑的东西。

麻烦在于，这两段的质量标准不一样。上段错了会导致遗漏，下段错了会导致返工。而用户往往只能看到最终结果，中间哪一段出问题，不拆开看是分不出来的。这也给评测带来了额外难度：一个端到端分数，分不清是检索没召回，还是代码没写对。

一个具体场景：300 页招股书

把这个链路落到具体任务上会更容易看清。

假设你要从一份 300 页的招股书里，找出所有对上市后业绩有实质影响的风险条款，并整理成一张表。传统做法是人工翻，两三天。

交给模型的话，链路大概是这样：先把全文切块建索引，这步解决"装得下"；然后按你问的风险类型做检索，召回相关段落；再让模型从段落里抽取条款，标注出处页码；最后结构化输出。

四步里，第一步靠长上下文和分块策略，第二步靠检索质量，第三步靠抽取和 grounding，第四步靠格式控制。哪一步弱了，最终结果都不对。

这也解释了为什么 K3.1 Pro 要同时强调 1M 上下文和长程 Agent——这两件事在真实任务里是串在一条链上的，缺任何一段，整条链就断。

三个设计，各自在赌什么

赌一：把 2.8T 参数直接开源。 参数量堆到 2.8 万亿还敢放权重，赌的是开源生态会替它做优化和分发。风险很实在——2.8T 的模型个人开发者根本跑不动，能跑的人又多半已有自己的选择。开源在这里换来的主要是心智和生态位，不是用户量。

▲ 96 个格子里只有 12 个被点亮，稀疏度才是可用性的关键

赌二：1M 上下文当默认卖点。 赌的是"长"仍然是有区分度的词。但从工程角度看，1M 上下文真正的门槛不是能不能塞进去，而是塞进去之后推理成本还划不划算。

赌三：后训练算力大幅增加。 这是三个赌注里最诚实的一个。预训练 Scaling Law 逼近上限的说法流传了一年多，自然数据快用完了。既然数据这一侧加不上去，就把算力加到后训练上。K3.1 Pro 明确说自己是 K3 的后训练版本，等于承认了这条路。

定价：这次没打的牌

通稿里没有强调 API 定价。这个沉默本身有信息量。

对照看：Gemini 4 Argon 在 GA 时把每百万 token 的输入/输出价格写成 $2/$10，而且明确标注了 intro pricing 的截止日期；Mistral Large 4 宣传的重点直接就是"单任务成本较竞品低 63%"。同期发布里，定价正在变成主战场之一。

K3.1 Pro 没跟这场价格战，合理的推测是初期目标不在抢 API 份额，而是先把开源生态位和交付能力的故事讲圆。这个推断置信度中等——也可能是定价尚未最终确定，或留到权重开放时一起公布。

品味在"怎么不做"

官方演示里有个细节值得注意：用 Unreal Engine 5.8 搭"云海之上的东方神话天宫"。这个选题不是随便挑的，它同时验证了三件事：3D 空间理解、复杂场景组织、和文化相关的审美表达。

换成一个通用的"做个贪吃蛇"演示，技术验证一样成立，说服力差一个量级。

另一个"不做"是参数竞赛的话术。通稿把重点从"我们有多大"移到了"我们能交付什么"，这个语气变化比数字变化更能说明公司阶段。

价值主张，和它自带的裂缝

对开发者来说，承诺是：一个参数规模全球最大、权重可自建、能端到端干活的开源模型。

裂缝在于这三条不总是兼容。权重开放意味着可以私有化部署，但 2.8T 的部署门槛极高；长程 Agent 能力强意味着单次任务消耗大，成本敏感场景下未必划算；而"端到端交付"这个词在工程语境里往往意味着大量重试和人工修正，只是通稿里不会写这部分。

▲ 基座沿用 K3，新增预算压在后训练层

二、技术视角：怎么搭，难在哪

架构

从公开信息能确认的架构要素：基座沿用 Qwen3-Next 路线上的混合注意力、高稀疏度 MoE、多 token 预测（MTP）。总参数 2.8 万亿，上下文 100 万。

需要说明的是，具体的层数、专家数、激活比例没有公开渠道披露。下面关于工程取舍的讨论，一部分是从"总参数 2.8T + 1M 上下文 + 数百领域 RL"这三个约束反推的，属于 C 类推断，我在每处标了置信度。

架构细节：三个技术选择各自在解决什么

混合注意力解决的是长上下文的复杂度曲线。纯 softmax 注意力在序列长度上是平方级开销，1M 长度下这个数字没法看。线性注意力把曲线压下来，但在短程精确回忆这类任务上掉点明显。混合方案是分层用：一部分层保留全注意力保证质量，一部分层换成线性变体拉长上下文。代价是调参空间变大，而且两种注意力的 KV cache 管理逻辑不一样，工程实现更复杂。

高稀疏度 MoE 解决的是参数量与计算量的解耦。2.8T 总参数如果全激活，单次前向的计算量不可接受。稀疏激活让每个 token 只走少数专家，计算量按激活参数算。代价是显存仍然按总参数占用——省了计算，没省内存——以及负载均衡这个老问题。

多 token 预测（MTP） 主要价值在推理侧。一次前向预测多个 token，配合验证机制可以显著提升解码吞吐，对长程 Agent 这种输出量大的场景收益明显。训练时它也是个额外的监督信号。

这三者组合起来的效果，用官方口径说是训练成本较同规模稠密模型降低超 90%、长文本推理吞吐提升 10 倍以上。这个数字是 Qwen3-Next 发布时给出的，K3.1 Pro 沿用该基座，具体收益是否一致未见披露。

卡点一：RL 扩展到数百个下游领域，先得有可验证的奖励

这是整个 K3.1 Pro 最硬的一关。

强化学习要跑起来，需要一个能自动判定"做得对不对"的奖励信号。数学题有标准答案，代码有测试用例，这些都好办。但金融研究、3D 创作这类任务没有唯一正确答案，怎么给奖励？

几种常见路子各有代价：

• 用可验证的子任务替代。比如让 Agent 从年报里抽出特定字段，跟已知值比对。这条路能走，但覆盖不了"研究"里真正的判断部分。
• 训练 reward model 打分。能覆盖主观任务，但 reward model 本身会偏移，而且容易被策略模型钻空子。
• 用规则加执行结果反馈。代码能不能跑通、游戏能不能启动。最可靠，但只对能执行的部分有效。

覆盖数百个领域，最可能的做法是混着来：能执行的部分用执行结果，不能执行的部分用 rubric 或模型打分。这个判断置信度中等，因为没有公开的 reward 设计细节。

▲ 采样—执行—打分—更新，闭环里最脆的是打分

rubric 是这里最容易做砸的一环。把一份研究报告拆成二十条二值判据，模型很快就能学会在每一条上打勾，但报告本身可能毫无洞见。判据越细，越容易被逐条攻破；判据越粗，越依赖评判模型自己的判断力，而评判模型的能力上限又反过来约束了策略模型能走多远。

这也是为什么"数百个领域"这个数字本身就带着风险。覆盖面的扩张速度，很容易超过奖励质量能跟上的速度。

如果奖励信号做不准，增加再多的后训练算力也只是让模型更擅长钻空子。 这是这类方案最大的风险点。

卡点一点五：RL 环境从哪来

比算力更稀缺的是环境本身。

"数百个下游领域"意味着数百套可执行的任务环境加判据。数学和代码这类领域有天然优势：判据明确、执行便宜、可无限生成新题目。但金融研究、3D 创作这些领域不一样——没有现成的执行环境，判据要靠人设计，而且很难自动生成新任务。

这带来一个不对称：越是需要 RL 的领域（答案开放、难以标注），越难搭建 RL 环境；越是容易搭建环境的领域，往往监督数据也容易获得，RL 的边际收益反而没那么高。

怎么跨过这个不对称，是这轮 RL 扩展真正的看点。公开信息里看不到具体做法，是构造了领域特定的执行器，还是用模型 judge 兜底，无从判断。这段为 C 类推断，置信度低到中等。

卡点二：1M 上下文的成本账

100 万 token 听起来是能力指标，落到工程上是成本指标。

注意力的计算和显存占用随序列长度增长，即使做了稀疏或线性注意力的优化，1M 长度下 KV cache 也是实实在在的压力。按常见配置估算，一份 1M token 上下文的 KV cache 显存占用在几十 GB 量级，具体数字取决于层数、KV 头数和精度，这里只能给量级，置信度中等。

这意味着几件事。预填充阶段的延迟会显著拉长，用户感知的首字时间不是靠加速解码能解决的。长上下文的性价比取决于任务是否真的需要全部上下文，对"帮我读这份 300 页文件"这类需求，1M 是硬需求；对多轮对话，大部分上下文可能是浪费。工程上必须有前缀缓存、分块预填充这类优化，否则成本不可控。

落到具体优化上，几条路是明确的。前缀缓存让多轮对话共享已算过的 KV，避免重复预填充；分块预填充把长序列切成小块逐块处理，把峰值显存压下来；稀疏或线性注意力改变复杂度的增长曲线，代价是精度损失和额外的工程复杂度。

这些都不新鲜，难的是在 1M 这个量级上把它们组合起来还不出错。工程量的差别在这里体现得非常直接。

杠杆在检索侧，不在推理侧。如果每次都要把 1M 全塞进去，再快的推理引擎也救不回来——DeepSeek 开源 DeepInfer 把推理优化推到毫秒级争夺，方向是对的，但那是把已有流程加速，不是改变"要不要处理这么多 token"。真正的杠杆是：能不能少塞一点进来还不出错。

▲ 同样是 1M，全量塞入和挑过再塞，成本差一个数量级

卡点三：沙箱基础设施

官方明确说重构了沙箱基础设施和调度系统。这部分容易被忽略，但对 RL 训练来说是命门。

编程类 RL 需要真实执行环境：模型生成代码，跑一遍，看结果，给奖励，更新策略。这个循环的次数是训练规模乘以采样次数，量级极大。

问题在于，每个执行环境要隔离，不能让模型写的代码搞坏训练集群；启动要快，等 30 秒起一个容器，训练吞吐就没法看；要能大规模并发，数百个领域同时采样；结果要可复现，同样的输入跑两次结果不一样，奖励信号就是噪声。

沙箱的启动延迟和并发能力，直接决定 RL 能扩到多大规模。这是一个纯工程问题，但对"数百个下游领域"这个目标来说是硬约束。

卡点四：让新增算力转化为稳定回报

官方的表述是"目标是让每一份新增算力都转化为稳定回报"。关键词是稳定。

RL 训练不稳定的老问题包括策略崩塌、reward hacking、长度偏移、熵崩溃，规模越大越容易出问题。月之暗面提到重构了 RL 框架，大概率是在解决这类问题。

具体到 MoE，还有两个额外的坑。一个是路由的离散性：专家选择是个 argmax，梯度传不过去，需要靠辅助损失或者可微近似来绕，而这些技巧本身又会引入新的超参。另一个是专家特化与负载的冲突：让专家各司其职能提升质量，但会让负载天然不均，需要额外的均衡约束来拉回来。

卡点五：长上下文训练的显存与通信

训练和推理是两笔账，而且训练这边更难。

1M 上下文的预训练或长程微调，显存压力不只是 KV cache，还有激活值。序列并行、环形注意力这些技术能把显存摊到多卡上，但代价是通信量上升，而且通信模式对拓扑敏感。这块的具体实现对外部不可见，只能说：能在 1M 长度上稳定训练，本身就是工程能力的证明。这段属于 C 类推断，置信度中等。

▲ 四个环节里，最难的是中间的奖励判定

卡点六：评测数字能信多少

Terminal-Bench 4.0 的 65.7%、Artificial Analysis 的第 4 名，这些数字需要放在语境里读。

第一，榜单是快照，不是常数。同期 Gemini 4 Carbon 刚拿下榜首，任何排名都可能在两周内刷新。

第二，发布方公布的成绩通常是自己选的测试集和自己的配置。不同实验室之间的分数可比性，取决于评测协议是否一致，而这一点外部无法验证。

第三，也是最容易忽略的：智能体类测试的方差远大于静态基准。同一个模型跑两次，结果可能差几个百分点——这个量级足够改变排名顺序。

所以对这类数字，合理态度是看量级和趋势，不看小数点。这不是怀疑，是这类评测的固有属性。

卡点七：长度外推的边界

训练时用多长、推理时能撑多长，是两个不同的问题。

模型在 1M 长度上可用，不代表它在 1M 上的表现跟在 32K 上一样好。长上下文的常见失效模式是"中间遗忘"——首尾信息记得住，中间部分召回率明显下降。这个问题在检索增强的场景下影响相对小，因为检索已经把关键证据挑出来了；但对"通读全文再回答"这类需求，它是硬伤。

K3.1 Pro 把长上下文和检索编排放在一起讲，可能正是这个考虑：用检索补长度外推的不足，而不是只靠加长窗口。这个推断置信度中等。

卡点八：推理栈的并行策略

2.8T 的模型推理，单卡想都别想，多卡也不够，需要跨节点。

可选的切法主要有三种。张量并行把单层的大矩阵切开，通信频繁但对单层有效；专家并行把不同专家放不同卡，天然适配 MoE，但会带来 all-to-all 通信和负载不均；流水并行按层切，通信少但会有气泡。真实部署通常是三种混着来，而怎么混取决于集群拓扑和显存预算。

还有个绕不开的问题是显存不够时怎么办。把部分权重 offload 到 CPU 内存或 NVMe 能跑起来，但带宽差一两个数量级，延迟会难看到失去实用价值。所以"能跑"和"能用"之间，隔着一整套工程优化。

这也是为什么开源 2.8T 权重的实际受益者，主要是有能力做推理优化的团队，而不是普通开发者。

什么时候不该上 RL

一个容易被忽略的判断：RL 不是所有任务的更优解。

它的适用条件是"结果可验证但过程不确定"。如果一个任务有明确标准答案、且能拿到高质量监督数据，直接做 SFT 更便宜也更可控。RL 的价值集中在那些过程有很多可能路径、但终点能判对错的场景——比如写代码、做规划、在多步工具调用里找路。

反过来，如果一个任务连"做对了没有"都无法自动判定，硬上 RL 的结果通常是模型学会了讨好判据，而不是学会了做事。这也是前面说奖励信号是最大风险点的原因。

所以"扩展到数百个领域"这个动作本身，隐含着一个前置判断：这些领域都存在某种可自动验证的信号。这个前提是否成立，决定了这条路能走多远。

难点分级：最难的都不在参数侧

给开发者的三个实际提醒

第一，别把榜单分数当选型依据。智能指数第 4 名和 Terminal-Bench 65.7% 是发布方口径，你的任务分布大概率跟测试集不一样。拿自己的 case 跑一遍，比看十张榜单有用。

第二，长上下文按需开。1M 是上限不是默认值，能用检索压缩就别全塞。这一条既省成本，也提高准确率——无关上下文本身就会干扰。

第三，把验证环节当成架构的一部分，而不是事后检查。能力越强，错误越隐蔽，越需要在流程里留校验点。

选型：重点不在选了什么，在放弃了什么

放弃了换基座。明确说 K3.1 Pro 是 K3 的后训练版本，意味着判断是：当前基座的潜力还没榨干，后训练这一侧的边际收益比重新预训练更高。

放弃了闭源。2.8T 的规模还要开源，等于放弃了 API 独占的定价权，换的是生态位和心智。

强化了执行环境。把工程投入压在沙箱和调度上，说明判断是：RL 的规模瓶颈不在算法，在能不能跑得动。

三、把两套说法对起来

三个错位

错位一：开源的最大参数，和最小的可跑性。 2.8T 参数对绝大多数开发者来说是看得到用不上。真正能跑起来需要的显存规模，已经超出个人和中小团队的常规配置。所以这次开源的受益者主要是有算力的一方，产品意义上的"人人可用"要靠官方 API，而官方 API 这轮并没有作为主推。

错位二：长上下文是能力，也是账单。 1M 上下文在营销上是亮点，在财务上是成本项。每次调用消耗的差异可能是一个数量级。这使得"支持 1M"和"适合每次都用 1M"是两件不同的事。

错位三：端到端交付的演示，掩盖了重试成本。 "从零做出含 5 个探索区域、两阶段 Boss 战的 3D 动作冒险游戏"是一个结果。达到这个结果中间经历了多少次失败、多少次人工介入，通稿不会写。对真实使用者来说，后者的意义可能更大。

▲ 绿色为有效证据，灰色为被过滤的噪声

结尾

K3.1 Pro 值得注意的地方，不是 2.8 万亿这个数字，而是它把资源明确压在了后训练和 RL 基础设施上。

这是一个已经成型两年的行业判断：预训练的红利在收窄，自然数据不够用了，于是竞争从"谁的数据多"转向"谁能把已有模型的能力榨得更透"。RL 是这条路的主要工具，而 RL 能不能规模化，取决于奖励信不靠谱、执行环境跑不跑得动、训练稳不稳定，全是工程问题。

对开发者意味着什么？模型能力的获取门槛在降，权重都给你了；但用好的门槛在升。2.8T 的模型不是下载下来就能跑的东西，长程 Agent 也不是接上 API 就能稳定产出。中间那层——部署、调度、成本控制、失败重试——正在变成真正的竞争力来源。

月之暗面把"场景交付"写在战略里，某种程度上承认了这一点：光有模型不够，得有让它跑起来的那一层。

▲ 权重开放解决的是拿得到，解决不了跑得动

附：哪些是事实，哪些是我推的

A 类（公开可核）

• 发布日期 2026-10-24，总参数 2.8 万亿，上下文 100 万 token，完整权重计划 11 月 4 日前开放。

• Artificial Analysis 智能指数全球第 4、开源模型第 1，较 Kimi K3 提升 11 分。

• Terminal-Bench 4.0 得分 65.7%，对比 GPT-6 Astra 58.2%、Claude Opus 5.5 66.4%。

• K3.1 Pro 为 K3 的后训练版本，RL 扩展到数百个下游领域，重构了 RL 框架、长上下文推理、训练效率、沙箱基础设施与调度系统。

• Qwen3-Next 架构要素：混合注意力、高稀疏度 MoE、多 token 预测；80B 总参数激活 3B，训练成本较 Qwen3-32B 降低超 90%，长文本推理吞吐提升 10 倍以上。

• 同期竞品状态：Mistral Large 4 万亿级开放权重（2026-10-29）；Gemini 4 Argon 1M 上下文 GA（2026-10-13）；Gemini 4 Carbon 榜首（2026-10-28）。

B 类（第三方转述，未独立验证）

• 与 GPT-6 Astra、Claude Opus 5.5 的横向对比数据，均为引述官方或榜单口径，非独立复现。
• 月之暗面约 500 亿美元估值与赴港 IPO 进展，来自公开媒体报道。
• 官方演示中的生成效果与耗时。

C 类（我的推断，附置信度）

若 A 类中的任一数据被官方更正，对应的 C 类推断链条需要重算。