AREX Feed Article
月之暗面开放 Kimi K3.1 Pro 权重：2.8T 总参、1M 上下文，vLLM 首日完成适配
北京时间 11 月 5 日凌晨（UTC 时间 11 月 4 日 16 时），月之暗面 Kimi 官方账号 发帖宣布开放 Kimi K3.1 Pro 的模型权重，帖文附上的链接指向 Hugging Face 仓库 ，并表示「我们将持续推进 open intelligence（开放智能）」。仓库页面显示：96 个 safetensors 分片合计 1.56 TB，模型为总参数 2.8T、每 token 激活 104B 的混合专家（MoE）架构，上下文窗口 1,048,576 token。
权重开放约一小时后，vLLM 项目官方账号宣布 Kimi K3.1 Pro 于发布当日（Day-0）登陆 。据其同步发布的 ，Day-0 平台支持覆盖 NVIDIA GPU（含 Vera Rubin）、AMD Instinct MI355X、Google Cloud TPU 与阿里巴巴平头哥（Alibaba T-Head）Zhenwu PPU（帖文列出 810e 与 M890 两款），并与 Megatron 打通，从第一天起就能用开放权重继续做强化学习（RL）训练。
权重落地：兑现承诺，未设访问门槛
这次开放是在兑现一份写明期限的承诺。月之暗面此前发布 时，已将模型上线 Kimi.ai、Kimi Work、Kimi Code 与 Kimi API（API 平台另提供官方称速度为 K3.1 Pro 的 2～3 倍的 kimi-k3.1-pro-highspeed 型号），并写明「完整模型权重将于 11 月 4 日前发布」——本次开放落在期限之内。
显示，除模型分片外，仓库附带 3.08 kB 的许可证文件和一组自定义加载代码（configuration_kimi_k3.py、kimi_k3_processor.py 等）。Hugging Face 联合创始人 Thomas Wolf（@Thom_Wolf）在模型公开约一个半小时后指出：仓库未设访问门槛（not gated），但用 transformers 加载需要 trust_remote_code；截至他发帖时已获 214 个赞，约为前代 Kimi-K3 首小时点赞数的 9 倍，并登上趋势榜第 19 位。这些是其发帖时的现场观察口径。
896 选 16：从 Kimi K3 后训练出的稀疏骨架
模型卡给出的参数表勾出了这个模型的结构：，共 896 个专家，每个 token 路由到其中 16 个，另有 2 个共享专家；词表 160K；激活函数为自定义的 SiTU-GLU；视觉编码器 MoonViT-V2 有 401M 参数，因此模型可直接接收文本和图像输入。模型卡写明，K3.1 Pro 由 Kimi K3 经大规模联合强化学习后训练而来，是 K3.1 系列的第一款模型。
Thomas Wolf 在上述帖文中给出了参照：在他看来，Kimi-K3.1-Pro 与 Kimi-K3 并列为 Hub 上最大的真实模型发布，次大者是 Qwen3.8-2.4T 与 DeepSeek-V4-Pro（1.6T）；896 个专家的数量是 DeepSeek-V4-Pro 的两倍、Mistral-Large-4 的七倍。这一比较出自其个人转述口径。
长上下文的省法：69 层 KDA 打底，24 层 DSA 只看 2,048 个 token
93 层的注意力构成为 69 层 KDA（Kimi Delta Attention，线性注意力）加 24 层 Gated DSA。模型卡注明，相比 Kimi K3，这 24 层由全注意力的 Gated MLA 换成了 Gated DeepSeek 稀疏注意力（DSA），用于更高效的长上下文建模；DSA 索引器每层只保留打分最高的 2,048 个 token。
vLLM 的博客把这个机制讲得更细：每层稀疏注意力旁有一个小型索引器，为每个 token 存一条 132 字节的 FP8 键，用 32 个轻量头给所有历史 token 打分，随后 MLA 精确注意力只在胜出的 token 上运行。到长上下文解码阶段，每层读取的字节数约为稠密 MLA 的 23%。DSA 方法由 DeepSeek-V3.2 引入。
存储端同样做了压缩：模型卡注明权重为 MXFP4、激活为 MXFP8，且经过量化感知训练。整仓 1.56 TB；按 Thomas Wolf 的估算，若以常规 BF16 存储约需 5.6 TB。
vLLM 的首日工程账单：一个缓存装三种状态，RL 开局零偏差
这个模型的缓存要同时容纳三种宽度不同的状态：KDA 状态、MLA 隐变量和索引器键。vLLM 的做法是把它们按块打包进一条连续内存，让 FlashInfer、FlashMLA 的稀疏内核和 DeepGEMM 索引器内核不改代码直接读取，也使预填充/解码分离部署可以用一次大块 RDMA 传输完成搬移。在此基础上，博客给出三项关键优化在 8×GB300 上的实测：按 token 而非按头切分的预填充注意力，在 340K token 时将首 token 时间（TTFT）提速 1.69 倍；解码上下文并行（DCP）下采用精确 top-k 合并，通信流量减少约 10 倍，注意力模块提速 1.3～1.5 倍；为 K3 打造的 CuTe DSL 融合解码路径延伸覆盖 DSA 层后，解码提速 1.2～1.6 倍。
面向长任务智能体（agentic）负载的吞吐数字为：GB300 上单用户最高 375.9 token/秒、单卡总吞吐最高 37,800 token/秒；Rubin 上单用户最高 815.6 token/秒、单卡 68,700 token/秒（SemiAnalysis AgentX 基准）。缓存容量上，8 张 GB300 在 FP8 缓存下约容纳 2.9 个完整的 1M-token 请求；叠加 NVFP4 隐变量与 MXFP4 索引键并启用 DCP8 后，约 36 个。
强化学习是这次 Day-0 接入的另一个重点。vLLM 称这是其首次在 Day-0 即提供零偏差（zero-mismatch）RL 支持：vLLM 与 Megatron 对基座模型和 LoRA 适配器给出逐位一致的 log-probs，在 100 步全参运行的每一步 PPO KL 恰为 0。社区合作方 Inferact 承担了 KDA 的训练—推理一致性工作，以及服务长时运行智能体所需的缓存与状态管理；其 DSpark 投机解码草稿模型 Kimi-K3.1-Pro-DSpark-preview 也出现在快速上手命令中。首日镜像包括 NVIDIA CUDA 13.0/13.4 与 AMD ROCm 三个版本（vllm/vllm-openai:kimi-k31、kimi-k31-cu134、vllm/vllm-openai-rocm:kimi-k31）。
修改版 MIT 的两道门槛：年入 2000 万美元、月活 1 亿
是一份修改版 MIT：使用、修改、再分发和出售均不受限，但设了两道条件。其一，「模型即服务」（Model as a Service）业务——被许可方及其关联公司在任意连续 12 个月内总收入超过 2000 万美元——须在与月之暗面另行签约后才能将权重用于商业用途。其二，月活超过 1 亿、或月收入超过 2000 万美元的商业产品或服务，必须在用户界面上显著展示「Kimi K3.1-Pro」。
许可同时写明了两类豁免：不向第三方开放模型能力或输出的内部使用，以及经由月之暗面官方产品或认证推理伙伴的使用。换言之，小团队和内部部署不受约束，约束瞄准的是大规模商业化场景。
自报评测里的强项，和被主动削掉的网络攻防
模型卡与博客中的评测数字均为月之暗面自报口径。按其模型卡，（Claude Code 框架、最大推理力度），略低于同表中 Claude Opus 5.5 的 66.4%；内部长程编码基准 Kimi Code Bench 3.0 Long-horizon 得 61.2%，高于 K3 的 55.95%，但低于表中 GPT-6 Astra 的 66.5%。Thomas Wolf 读表指出，BrowseComp（92.1）、带工具的 HLE（70.0）与 SWE Marathon（51.7）三项在其模型卡表格中居首，无工具的纯推理与网络安全则偏弱；月之暗面自家的多数编码评测使用 Claude Code 框架运行。带工具的 BenchCAD 一项同样呈现差距：K3.1 Pro 得 92.7，排在 Claude Opus 5.5（96.2）与 GPT-6 Astra（95.9）之后。
网络安全能力是被主动削掉的。月之暗面在博客中披露，团队发现网络攻防内容随通用语料进入中训练（mid-training）阶段、攻防任务随 RL 环境组合自然渗入后，为开放权重版本在这两个训练阶段识别并移除了网络攻防相关数据，同时保留通用编码任务。在其内部漏洞研究基准 xdev-bench-hard（pass@3）上，未做风险削减的检查点解出 90.5%，最终开放的 K3.1 Pro 为 81.0%。公司称，开放版的攻击性网络能力按设计低于其训练管线所能达到的水平，也落后于已公开至少三个月的前沿闭源模型；其开放理由是，当有能力的模型开放运行在用户自控的基础设施上，更多团队——包括很少获得专门安全审查的遗留系统的维护者——就有了审计自己代码的手段。
开放发布之后，还有两件事没有答案：修改版 MIT 的两道许可条件会不会在现实规模上被触发；把 1M 上下文真正跑起来，需要多大规模的算力。