AREX Feed Article
vLLM 公布 DeepSeek-V4.1-Flash 三周优化成绩：低并发提速 1.9 倍，AgentX 吞吐增 5.3 倍
10 月 7 日，vLLM 官方在与 中公布：DeepSeek-V4.1-Flash 发布三周后，在 vLLM 上低并发提速 1.9 倍，在 SemiAnalysis 的 AgentX 智能体基准上、每用户 150 tok/s（token/秒）约束下吞吐提升 5.3 倍。这份由 Inferact 与 vLLM 团队署名的博客把这些数字逐项归因：前缀命中后滑动窗口 KV cache（键值缓存）的重建从重放 40 × 128（约 5,120）个 token 裁到只重跑最后 128 个；prefill 第 21～39 层只处理每个请求的最后 128 个 token；再叠加 DeepSeek 放出的 MegaAttention 等内核与 vLLM 侧融合，每芯片约 10 万 tok/s 吞吐处的 TTFT（首 token 时间）下降近 70%。这些数字全部是官方自报，对比基线是 vLLM 自己的 day 0 实现。
此前的 10 月 5 日，维护者 khluu 发布的 已把这批工作列为条目：FlashMLA mega attention 与 NVFP4 压缩 KV cache 成为 SM100 默认、DeepGEMM sparse MQA logits、Mega-Gate、把滑动窗口 KV 排除在前缀缓存之外的 SWA bounded replay（#56227）。其中 DeepSeek-V4.1-Flash 一节只有条目，没有合计后的量化成绩。
对自家 day 0 基线测出的 AgentX 成绩
博客的对比基线是 vLLM 在模型发布当天（day 0）的自身实现，而非第三方引擎。配图把对比标注得更具体：两条曲线分别是 2026-09-11 与 2026-10-02 的最优配置，模型为 552B 的 DeepSeek V4.1 Flash，硬件是 GB300 NVL72。官方文字口径是每用户 150 tok/s 的约束，配图标注的具体点位在每用户 155 tok/s 交互度处：每芯片吞吐（tok/s/chip）从 27K 提到 144K，即 5.3 倍；低并发端的差距被标注为 1.9 倍交互度，从 311 提到 599 tok/s/user。
两种场景用了不同配置。低延迟场景是 TP4 加 FlashInfer attention：小批量解码主要受显存带宽限制，把权重分片到四张卡正合适；博客还说明他们试过 MegaAttention，但其收益集中在中高吞吐场景，TP4 下 FlashInfer 反而更快。高吞吐场景切换到 DEP2，即 DP attention 加专家切分：V4.1 所有注意力头共享一份 KV latent，TP 会把 KV cache 在卡间复制，DP 免掉这份浪费，会话亲和性（session affinity）则让多轮对话的前缀缓存继续命中。MegaAttention 的 NVFP4 把每请求 KV 占用比 FP8 几乎减半，单卡能容纳更多并发。博客称整个基准从头到尾都不需要 KV cache offloading（把 KV cache 卸载到 GPU 显存之外）。
SWA bounded replay：用精确换效率的窗口重建
DeepSeek-V4.1-Flash 维护两份 KV cache：全局 KV 经压缩、跨层共享、以 FP4 存储，约每 token 890 字节；滑动窗口（SWA）KV 不压缩、用 FP8，覆盖 40 层中每层的最后 128 个位置。若把它放进前缀缓存，每个可能的命中边界都得存一份，存储开销超过全局 KV 的 10 倍；若选择重算，由于每层的窗口依赖前一层的更早位置，跨 40 层精确重建约需重放 40 × 128 个 token。
bounded replay 用精确换效率：只重跑最后 128 个 token，并把重放起点处的窗口截断。结果不是逐位一致，DeepSeek 报告质量损失可忽略；vLLM 称在 GSM8K、GPQA 等基准上复测，差距在约 1.5 个标准误以内。该特性对 DeepSeek-V4.1 默认开启，开关是 --[no-]swa-bounded-replay。
它作用在两处。编码器侧：只缓存全局 KV，命中长度 H 的前缀后，重跑 [H−128, H) 这 128 个 token 把窗口补回来。解码器侧裁剪幅度更大：V4.1 的因果编码器-解码器（CED）架构里，第 20 层算出解码器的全局 KV，第 21～39 层直接复用，因此 prefill 时第 20 层仍要跑全部 token，第 21～39 层只处理每个请求的最后 128 个 token，长提示词下相当于跳过近半个模型。被裁的这近 20 层只剩少量计算，eager（非图捕获的即时执行）模式下内核启动开销反成瓶颈，vLLM 用可中途打断的 PIECEWISE CUDA graph 把第 0～20 层按完整 batch 捕获、第 21～39 层按裁剪后的 batch 单独捕获，让这部分 prefill 计算时间下降 30%～40%（）。边界同样写在博客里：不开 CUDA graphs 时，短提示词下 replay 会比基线还慢，DEP2 上 1K 提示词最多慢 12%。
内核与融合：DeepSeek 的四件内核加上 vLLM 侧的三处改动
DeepSeek 随 V4.1-Flash 在三个仓库放出配套内核：DeepSelect（DeepSeek Sparse Attention 的 top-k 库）、DeepGEMM（sparse indexer 与多个融合 GEMM 内核）、FlashMLA（NVFP4 KV 支持与融合注意力内核 MegaAttention），vLLM 侧的集成进度在 追踪。官方串帖对这一层的概括是：集成了 DeepSeek 的 MegaAttention、Mega-mHC、Mega-Gate 与 DeepSelect（）。
博客给每件都配了数字。MegaAttention 把 query RoPE、稀疏注意力、逆 RoPE 和 FP8 转换压进一次内核启动，输出直接写进下一层投影要读的缓冲区，省掉独立内核和显存往返，读取的 NVFP4 压缩 KV 比此前 FP8 KV 小 45%，内核效率提升 1.45 倍。Mega-mHC 把 mHC 链的 post、delayed-pre 与 RMSNorm 融成单内核，在 GB200 上比原 TileLang 路径快 1.14～1.51 倍。Mega-Gate 把 MoE（专家混合）路由的 gate GEMM、专家打分、bias 与 top-k 选择合成一个内核，省掉一次启动和一轮显存读写，中等 batch 下提速 1.18～1.31 倍。sparse MQA logits 只对固定 16K 个候选位置打分，成本不再随上下文增长：GB300 上每层在 8K 上下文快 1.2 倍、512K 快 14～23 倍，4 × GB300 端到端解码提升 3%～6%，prefill 在 512K 快 1.43 倍、1M 上下文快 2 倍。
vLLM 自己的改动有三处。Blackwell 小批量解码场景的 CuTe-DSL fused WO-A 把逆 RoPE、FP8 量化、WO-A batch GEMM 与 MXFP8 重量化合成一个内核，pre-WO-B 链从三个内核减到一个，路径最多快 2.1 倍，低并发下 ITL（token 间延迟）最多降低约 6%～7%。mHC 系数挪到侧 CUDA 流：V4.1 的 mHC 系数错开一个子层，下一个接缝的系数 GEMM 只读已存在的残差流，小 batch 下可与 attention、FFN 并行，TP4 低延迟场景延迟降约 4%。Engram 层的 CPU 侧大表做了异步预取、统一 TP/DP 分片与同驻 DP 副本共享主机表，透明大页把 prefill 查找内核最多加快 10 倍。
三项合计的结果体现在 TTFT 上。博客把它归到三件事：bounded replay 让模型上半部只处理最后 128 个 token，prefill 计算近乎减半；CUDA graphs 让裁剪后的重放留在 GPU 上而不被 CPU 启动开销拖住；内核提速再压一截。配图标注的具体点位是：每芯片 94K tok/s 吞吐下，第 90 百分位（P90）TTFT 从 1.86 秒降到 0.32 秒。
官方自报之外的边界
这些成绩目前只有官方一套口径：博客由 Inferact 与 vLLM 团队署名，串帖出自官方 X 账号，文末致谢 DeepSeek（模型与内核）、NVIDIA（协作）与 SemiAnalysis（AgentX 基准），并称工程由 Inferact 和 vLLM 社区完成（）。逐项数字多是在 GB200、GB300、4 × GB300 等特定硬件上的单内核或微基准结果，ITL、WO-A 路径与查找内核几项还带着「最多」的前缀。这些数字能否在第三方环境复现，仍有待独立验证。
读者能直接核对的是代码本身：内核集成进度列在 vLLM 仓库的 #57448，SWA bounded replay 对 DeepSeek-V4.1 已默认生效，更新日志与博客给出的 PR 编号（#56227、#56935、#56254、#56266、#58634 等）都能在仓库逐条检索。
参考链接
- ](streamdown:incomplete-link)