Kimi K3.1 Pro 新版 DSpark 草稿模型发布:官方称 HumanEval 接受长度最高提升 30%,1M 上下文下 draft KV 显存有界
11 月 17 日(UTC),vLLM 项目官方 X 账号宣布发布面向 Moonshot AI 旗下模型 Kimi K3.1 Pro 的新版 DSpark 投机解码草稿模型。帖文称,该草稿模型由 Inferact 与 Red Hat AI Speculators 团队联合 vLLM + Speculators 开发,带来两点:在 HumanEval 上,接受长度(acceptance length)较预览版最高提升 30%;每个草稿层采用 2K 滑动窗口,draft KV 显存即使在 1M token 上下文下也有界。权重与即用型 vLLM 配置已发布在 Hugging Face 的 Inferact/Kimi-K3.1-Pro-DSpark 仓库(新版模型卡)。
新版模型卡写明,这个检查点取代此前的 Kimi-K3.1-Pro-DSpark-preview——即 vLLM 11 月 4 日为 Kimi K3.1 Pro 提供 day-0 支持时随附的预览版(day-0 博文)。
图:vLLM 官方博客 2026 年 11 月 4 日 Kimi K3.1 Pro day-0 支持公告的题图,画面下方并排 vLLM、Inferact、Moonshot AI 三个标识。
官方口径下的对比:HumanEval 接受长度 3.585 → 4.660
投机解码的加速方式,是用一个小草稿模型一次提出多个 token,再由目标模型一并校验;接受长度衡量每轮校验平均敲定多少个 token。新版模型卡把指标定义为「1 + 被接受的草稿 token 数 ÷ 草稿步数」,bonus token(整块草稿被接受后目标模型额外输出的那一个 token)也计入;测试每步提出 7 个草稿 token(k=7),采样条件 temperature 1.0、top_p 0.95,跑完整测试集。
在这套口径下,新检查点在 HumanEval(164 题)拿到 4.660 的接受长度,第 1 个草稿位接受率 86%,到第 7 位降到 28%;GSM8K(1,319 题)为 5.566,MBPP 4.376,MATH-500 4.445,九个基准的汇总(pooled)为 3.864。预览版模型卡的对应数字是 HumanEval 3.585、GSM8K 4.597、汇总 3.154(预览版模型卡)。换算两份模型卡:HumanEval 提升恰为 30.0%,是所有可比基准里最大的一个,与推文「最高提升 30%」吻合;GSM8K 提升 21.1%;长上下文基准 BEAM 1M(提示长度 826K~1.04M token)从 2.765 升至 3.421,提升 23.7%;AA-LCR 提升 12.4%。其余可比基准的增幅落在 12%~25% 区间。两份卡上的汇总数字不宜直接相除:SPEED-Bench 各项的提示设置在两卡间并不一致。
每层 2K 滑窗:draft KV 从线性增长改为固定开销
比 30% 更实质的变化在草稿模型本身的架构。预览版约 27 亿参数(模型卡标注 2.7B),注意力为 MLA(多头潜在注意力)、全因果(full causal),draft KV 随上下文线性增长;新版约 25 亿参数(模型卡标注 2.5B,BF16),改为分组查询注意力(GQA,96 个 query 头、16 个 KV 头、head_dim 64),每层带 2,048-token 滑动窗口,上下文上限 1,048,576 token,每层只对最后 2,048 个 token 做注意力。模型卡的原话是:滑动窗口让草稿的注意力开销和 KV 缓存不随上下文增长而保持固定。
按模型卡规格推算:若 draft KV 同样以 BF16 存储(模型卡未单独标注缓存精度),5 个草稿层 × 每层 16 个 KV 头 × head_dim 64,缓存最后 2,048 个 token 的 draft KV 约 42 MB;同样的 GQA 结构若不设窗口,1M 上下文会累积约 21 GB。「有界」省下的就是这一块。
其余配置来自模型卡:输入取自目标模型 5 个层的 hidden states(隐藏状态),一次前向提出 7 个 token 的草稿块,embedding(词嵌入)与 LM head(语言模型输出头)与目标模型共享。算法层面,DSpark 在 DFlash 的块并行骨干上加了低秩 Markov 头——用前一个选中的 token 修正下一位置的 logits,恢复块内位置间的依赖——以及一个预测每个位置被接受概率的置信度头(Speculators 文档)。
「有界 KV」在发布约一刻钟后就引来了边缘部署者的回应。简介标注为 Android 与 Edge-AI 工程师的 Alen Požun(@termuxSolutions)在评论区写道:「有界的 draft KV,正是我手机那 8 GB 内存真正在乎的部分。」他还给 llama.cpp 本地部署支招,并称把 draft 缓存换成 q8_0 量化,draft KV 大约能降到 f16 默认值的一半——这是他的个人经验,不是基准数据(评论区回复)。
承载滑窗草稿模型的推理栈:KV 管理、P/D 分离与并行配置
推文的另一半落在服务端:「高效的草稿架构需要一个能承载它的推理栈」。vLLM 称其重新设计的 KV 管理支持 P/D 分离(P/D disaggregation,prefill 与 decode 分离部署)和不同并行配置,让滑动窗口草稿模型进入生产。
这套 KV 管理在 11 月 4 日的 day-0 博文中有专门交代:K3.1 Pro 的一块 KV 缓存是单一连续行,同时装下 24 个稀疏注意力(DSA)层的 MLA latent 页、indexer key 页,以及 69 个 KDA 层的循环状态,不同宽度的页可以共用一行;块大小取 2 的幂,因此运行在不同 TP(张量并行)配置下的 prefill 与 decode 实例可以配对传输 KV;做 P/D 分离时,一次大块 RDMA(远程直接内存访问)读就能搬走整块缓存,而不是几十次逐层小读。
新版模型卡附带的即用配置示例是:以 tensor-parallel-size 8 启动 moonshotai/Kimi-K3.1-Pro,在 speculative-config 里指定 method dspark、num_speculative_tokens 7、draft_sample_method probabilistic、rejection_sample_method block、enable_adaptive_verification false;示例同时把 max-model-len 限在 65,536、max-num-seqs 设为 128,要求设置环境变量 VLLM_KIMI_K3_AUX_ATTN_RES_STREAM=0,并开启按请求汇总的投机解码指标。
三方分工:Inferact、Red Hat AI Speculators 与 Speculators 库
按推文与模型卡的口径,这次检查点是 Inferact 与 Red Hat AI Speculators 团队的联合工作,基于 vLLM 项目的 Speculators 库构建。Speculators 是一个统一构建、训练、评估和分发投机解码草稿模型的库,产物以 Hugging Face 兼容格式存储,由 vLLM 用原生 dspark 方法加载(9 月博文)。DSpark 算法来自 DeepSeek 的研究(论文 arXiv:2607.05147);这篇博文还提到,Speculators 的 DSpark 实现已在 Qwen3.6-35B-A3B、Gemma-4-31B-it、GLM-5.2 等模型上验证过。
Inferact 的角色由其官网自述:一家推理平台公司,由 vLLM 的创作者创立并领导 vLLM 路线图,在平台内提供自定义内核与训练好的 speculator(Inferact 官网)。仓库归属也有对应变化:9 月面向 Kimi K3 的 DSpark 权重发布在 RedHatAI 组织名下,这次 K3.1 Pro 新版放在 Inferact 组织名下,双方按推文口径为联合开发。
从 Kimi K3 到 K3.1 Pro:一句「很快发布」与 13 天后的正式版
这条 DSpark 线早先的一站是 Kimi K3。9 月 15 日,vLLM 博文发布了面向 K3(2.8T 参数)的 DSpark speculator:五层、50 亿参数的草稿模型,每步提议 8 个 token;官方数字为 math reasoning 单流交互性从约 110 提到约 435 tok/s/user,并发下在匹配交互性时输出吞吐最高约 3.5 倍。该模型在 Verda 提供的 GB300 机架上训练,训练所需的目标模型 hidden states 用 Mooncake 传输引擎跨节点流式取回。
图:2026 年 9 月 15 日 vLLM 博文中的 Kimi K3 吞吐—交互性曲线(math_reasoning 负载、每步 8 个草稿 token):红线为带 DSpark speculator 的 vLLM,灰线为无投机解码基线。图中数据属于 Kimi K3 的那一版 DSpark,不是本次 K3.1 Pro 新版的数字。
11 月 4 日获得 day-0 支持的 K3.1 Pro 是 2.8T 总参数、激活 104B 的多模态混合专家(MoE)模型;随附的预览版 DSpark 按官方口径在 batch size 1、TP8、8×GB300 下带来 3.0 倍解码提速,博文同时预告:「我们正在训练一个更准确、更高效的 speculator,很快发布。」
11 月 17 日发布的新版,就是这句预告的落点。截至 11 月 18 日查询 Hugging Face 页面,新仓库累计 308 次下载,预览版累计 3,545 次。目前可查的全部对比数字都出自发布方口径;第二个数据源,要等发布方之外的独立复测。
参考链接
- vLLM 项目官方 X 帖文(2026-11-17)
- Inferact/Kimi-K3.1-Pro-DSpark 新版模型卡(Hugging Face)
- Inferact/Kimi-K3.1-Pro-DSpark-preview 预览版模型卡(Hugging Face)
- vLLM 博文:vLLM Delivers Day-0 Support for Kimi K3.1 Pro(2026-11-04)
- vLLM 博文:How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72(2026-09-15)
- Speculators 文档:DSpark
- Alen Požun(@termuxSolutions)的评论区回复(2026-11-17)
- Inferact 官网