AREX Feed Article
vLLM 官宣 Day-0 支持 Mistral Large 4：FP8 与 NVFP4 双权重、内置 DSpark 草稿模型，自报输出吞吐最高 2.23 倍
Mistral AI 于 10 月 29 日 12 时（UTC，北京时间 20 时）放出旗舰模型 Mistral Large 4（昵称 Le Chonk）的开放权重，兑现了 10 月 6 日 public preview 时「月底发布权重」的承诺。约三个小时后，vLLM 项目官方账号 @vllm_project 宣布对该模型的 Day-0（发布日）支持：当天即可在 vLLM 上运行这款总参数量 1 万亿的原生多模态 MoE（mixture-of-experts，混合专家）模型，提供 FP8 与 NVFP4（面向 Blackwell GPU）两种 checkpoints（量化权重包），并把 DSpark 投机解码草稿模型直接内置在 checkpoint 里。同时称，该模型面向高级编码、推理与网络安全相关任务，具备 1M 上下文。
性能数字为 vLLM 单方口径：在 TP8、200 条真实 prompt、贪心解码、输出不超过 512 token 的测试条件下，给出内置 DSpark 后相对同配置基线的输出吞吐提升：FP8 为 1.92～2.16 倍，NVFP4 为 2.00～2.23 倍。同日发布的 给出了这些数字背后的机制、硬件配置与原始数据。
权重与适配同日落地
10 月 6 日，Mistral 以 public preview 形式上线 Mistral Large 4 的 API，承诺月底放出权重；10 月 29 日 12 时（UTC），权重在 开放；15 时 13 分（UTC，北京时间 23 时 13 分），vLLM 宣布 Day-0 支持。Mistral 在中称，preview 之后的 three 周强化学习在 coding 与防御性网络安全上带来大幅提升。
两个 checkpoint 都已可下载： mistralai/Mistral-Large-4-1T-A52B 采用块缩放 FP8 权重；用 NVFP4 量化的 MoE 专家加 FP8 线性层，面向 B200、B300、GB200、GB300 等 Blackwell GPU；两种 checkpoint 默认都使用 FP8 latent KV cache（潜在键值缓存）。按模型卡，权重采用 Mistral Ecosystem Open-Weight License（改版 MIT），允许商用，但经营 Model-as-a-Service 业务需与 Mistral 另行签订商业授权。
Mistral Large 4（下称 ML4）的结构在 vLLM 博客中有逐层描述：72 层 MoE，128 个路由专家（每 token 路由到其中 4 个）加 1 个共享专家，每 token 激活约 490 亿参数（计入 embedding 与输出层为 520 亿）；注意力采用 MLA（multi-head latent attention，多头潜在注意力）加 DSA 稀疏索引器，每个查询只取 top-2,048 个 key。按 Mistral 的，模型在 Mistral 位于欧洲的自有数据中心用 3,800 块 NVIDIA Grace Blackwell GPU 从头训练。此次发布还带三档 reasoning effort（low / medium / high，默认 high）、Pixtral 视觉编码器（支持单条 prompt 传入多张图片），以及 checkpoint 内嵌的 DSpark 草稿头：params.json 里的 mtp 块和 mtp_dspark.* 张量。
称，实现由 Mistral 主导，vLLM 贡献者与 Red Hat、Inferact、NVIDIA 承担支持工作。
DSpark：随 checkpoint 一起分发的草稿模型
DSpark 是这轮吞吐数字的来源。普通投机解码的 drafter（草稿模型）逐个生成候选 token，DSpark 则在一次前向中同时提出整块草稿的所有位置，再由目标模型并行验证。vLLM 博客描述了 ML4 版 drafter 的构成：从目标模型第 1、18、36、54、71 层取 hidden states 作为输入，一个 rank 512 的 RNN Markov 头让后面的草稿位置依赖前面已生成的候选，3 个 2,048-token 滑动窗口 MLA 草稿层单独占一个 KV cache 组。启用方式是一行配置：--speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'。
博客在同一条件下（TP8，8 卡张量并行）给出了每 token 解码延迟（TPOT）明细：并发 1、8、32 时，FP8 从 8.84 / 15.28 / 29.92 ms 降到 3.50 / 7.08 / 11.57 ms，NVFP4 从 8.21 / 12.85 / 25.38 ms 降到 2.95 / 5.80 / 9.80 ms，每步接受 2.85～2.93 个 token。采样模式下每步接受 token 数接近：温度 1.0、top-p 0.95、并发 8 时约 2.8；温度 1.5 时需改用 probabilistic 草稿采样，接受 token 数从 2.04 升到 2.36～2.53。
博客称这套机制是无损的：每个草稿 token 都经目标模型拒绝采样验证，FP8 在 GSM8K 的 1,319 道题上不用 DSpark 得分 0.909，用了是 0.918。DSpark 也能与长上下文并行方案叠加：TP8 加 DCP8、6 万 token 上下文时，单请求 TPOT 从 11.82 ms 降到 5.22 ms（2.26 倍），代价是 KV 容量——6.4 万上下文时约为纯 DCP8 的 0.69 倍。
1M 上下文的容量账：DCP 把 KV 池放大 8 倍
1M 上下文真正的约束是显存：MLA 的 latent KV cache 在张量并行下每张卡都存一份。vLLM 用 decode context parallelism（DCP，解码上下文并行）把它按 token 维度切分。博客的数字：8×GB300 上，DCP8 把 KV 池从 FP8 的 238 万 token 提到 1,888 万 token，NVFP4 从 360 万 token 提到 2,876 万 token；反映到负载上，1M-token 输入的并发请求从 3 条变为 27 条。
图表：vLLM 博客公布的
DCP 有代价：当 KV 不是瓶颈时，DCP8 每 token 解码比纯 TP8 慢约 16%～28%。博客给出的分界线：并发长会话把 KV 池吃满时 DCP 才划算。vLLM 自己的 agentic P/D 测试（约 10 万 token 会话）中，TP4+DCP4 的 decode 节点在 32 个并发会话下把首 token 延迟保持在 0.7 秒，普通 TP4 节点则耗尽 KV、延迟升到 15 秒。为压低 DCP 本身的固定开销，vLLM 重写了集合通信：对称内存的 all-to-all（全交换）取代 all-gather（全收集）加 reduce-scatter（散射归约）的组合，索引器 top-k 直接经对称内存交换。改造后，TP8+DCP8、6 万 token 输入下并发 64 的输出吞吐提高 47%。
支撑长请求的还有两块。其一是 cross-layer KV sharing（跨层 KV 共享）：9 个 NoPE 层（无位置编码层，第 39 到 71 层每隔 4 层一个）不写自己的 KV，直接读第 35 层的 latent cache，消费层不占任何 KV 显存，72 层中只有 63 层持有缓存。其二是 NIXL 驱动的 prefill/decode 分离服务：在 4+4 GB300 的 1P1D 配置里，8k 输入、约束每用户至少 40 tok/s 时单卡输出吞吐最高 718.2 tok/s；prefill 节点用 PCP4×DCP4（预填充与解码上下文并行各 4 路，PCP 即 prefill context parallelism）时，在他们测过的配置里首 token 延迟最低，8k / 32k / 60k 输入分别为 0.35 / 1.37 / 2.57 秒；全部配置经代理测得 GSM8K-200 为 0.965～0.980，NIXL 传输零失败。HiSparse 主机内存 KV 卸载也随此次更新加入了对 cross-layer KV sharing 的支持。
Blackwell 之外，MI350 与 TPU v7x 同日可用
跑法已经写进博客：拉取 vllm/vllm-openai:mistral-large-4 镜像（内含 mistral-common 1.13），FP8 用 TP8，NVFP4 在 Blackwell 上 TP4 即可启动，两条示例命令都带 DSpark 配置与 mistral 的 tool-call、reasoning 解析器。NVFP4 的质量账目也列了：在多模态、长上下文、agentic coding、业务自动化与网络安全的各项评测中，与 FP8 的差距不超过 2.1 分，平均差 −0.3 分，平均 completion token 数差距约 4% 以内；速度上，不加投机解码时 NVFP4 每 token 解码比 FP8 快 1.08～1.19 倍，带 DSpark 为 1.18～1.22 倍，KV 容量约 1.5 倍。
AMD 与 TPU 平台同日可用。AMD Instinct MI350 系列 day-0 支持 ROCm 版 vLLM：AMD Quark 量化的 把模型从约 1,061 GB 压到 578 GB，4 张各 288 GB 的 MI350 即可承载；也可以在加载时把 FP8 专家逐层重量化为 MXFP4（VLLM_FP8_MOE_REQUANT=mxfp4），博客称该路径在 1～64 并发下吞吐较 FP8 专家提升 22%～71%。MI350X TP4 上 DSpark 每步接受 3.1 个 token，单请求的每 token 解码延迟降至原来的 1/2.7。TPU 侧，ML4 借 vllm-torchtpu 在 TPU v7x 上 day-0 运行，验证配置跨 16 块芯片：主机内张量并行（TP）、跨主机数据并行（DP）加专家并行（EP）。
工程侧，ML4 只跑在 vLLM 的 model runner V2 上，用 breakable CUDA graphs 替代 torch.compile，博客称较 eager 模式快约 6 倍；模型代码进了新的 vllm/models/mistral/ 包，每层的 RoPE（旋转位置编码）/NoPE、索引器归属、KV 读写角色由 params.json 生成的 layer spec 驱动，而不是在共享代码里写死分支。
数字仍是官方口径，复现材料已经公开
vLLM ，SkyRL（@NovaSkyAI）提供基于 vLLM rollouts 的 Mistral Large 4 day-0 RL 训练支持——这一条未获本文其他引用来源印证。同样需要区分口径的是：吞吐倍数、接受 token 数、KV 容量、P/D 延迟全部出自 vLLM 官方博客与帖文的自我报告，Mistral 对这版权重的能力表述（在 coding 与防御性网络安全上领先开源权重模型）也是厂商自报，尚无独立第三方的复测数据进入本文引用的来源。
复核所需的材料都已公开：FP8 与 NVFP4 权重在 Hugging Face 可下载，服务镜像与启动命令已给出，长上下文容量、DCP 改造前后的延迟曲线等图表连同硬件与参数设定一并公布。博客列出四项随此次发布产出的通用改造，已合并或正在上游化：cross-layer KV sharing（vllm#64095）、DCP 集合通信的对称内存改造（vllm#61285）、滑动窗口 MLA 草稿层（vllm#63795）与 DSpark-over-DCP（vllm#63796）。这些改动不绑定 ML4 一款模型。