SGLang 宣布 DeepSeek V4.1 Flash 推理优化：交互性 538→943 tok/s/user，单 GPU 总吞吐 34.8 万→65.4 万

北京时间 10 月 27 日晨（10 月 26 日 22:27 UTC），SGLang 项目官方 X 账号 @sgl_project 发布工程公告，宣布针对 DeepSeek V4.1 Flash 的两项优化结果：低延迟一端，MegaKernel 优化把交互性（interactivity，单个用户的生成速度）从 538 提升到 943 tok/s/user；高吞吐一端，WideEP 与系统性优化把每 GPU 总吞吐从 34.8 万提升到 65.4 万 tok/s。按推文数字计算，前者约为基线的 1.75 倍，后者约为 1.88 倍（公告原文）。

公告中的吞吐按缓存命中、新输入与输出三部分 token 合计计算。这些数字由 SGLang 自报，推文没有附第三方复核，也未给出测量所用的硬件配置、批次规模和负载；帖子结尾写道「还有很大改进空间，我们很快会分享更多更新」。截至发稿，该帖获得 84 个赞、约 5,300 次浏览。

两端同时推：MegaKernel 与 WideEP 的分工

推文把两项结果概括为「在 DeepSeek V4.1 Flash 上同时推曲线的两端」：低延迟端由 MegaKernel 负责，高吞吐端由 WideEP 加全系统优化负责。两个数字不在同一坐标上：943 tok/s/user 衡量单个用户拿到的速度，65.4 万 tok/s 是每块 GPU 的总 token 吞吐；SGLang 官方博客在公布同类数据时把前者标为「Per-user speed, tok/s per user」（Day-0 支持博客）。

X 用户 Novaris（@Novaris12138）在公告下留言：「同时推延迟与吞吐，是这个问题里更难的一种做法；通常只能拿一端换另一端。538 到 943 tok/s/user 是一次扎实的跳升。」（评论原文）这条评论是该帖九条回复之一。

MegaKernel：把解码步压进更少的内核

SGLang 文档给出的机制解释是：在 decode 的 token 量级上，这些内核是「启动受限」而非带宽受限，因此优化重点是融合与重叠——把压缩器投影、ratio-2 池化、带 fp4 量化的 RoPE、索引器打分和 mHC 统计等零散内核合并，并与注意力、FFN 在专用流上重叠执行（SGLang Cookbook）。mega-kernel（大型融合内核）此前已有实例：DeepGEMM 的 Mega MoE 把专家并行的 dispatch、两次 FP8×FP4 专家 GEMM、SwiGLU 和 combine 装进一个基于对称内存的内核，让 NVLink 通信与张量核心计算重叠（DeepSeek-V4 Day-0 博客）。

MegaKernel 在 SGLang 近期的多个模型支持公告里都出现过：为 MiniMax M3.1 Flash 提供 2.15 倍单请求解码加速（SGLang 推文）；在 TPU 插件里用定制 MegaKernel 让 Muse Spark Open 在 bs=1、InferenceX 8K/1K 负载下达到 770 tok/s（SGLang-TorchTPU 发布推文）。10 月 20 日，SGLang 还宣布 NVIDIA 与 AMD 各自的低延迟内核以 sgl-nvidia-mega、sgl-amd-mono 插件形式接入，未覆盖的步骤回退到通用路径（插件公告）。本次公告没有披露 V4.1 Flash 上 MegaKernel 的具体实现与配置。

WideEP：把专家摊到更多芯片上

WideEP（宽专家并行）指把 MoE 模型的专家分布到大量加速器 rank 上：每颗芯片需要存储和读取的专家权重变少，更大的对等组也让专家批次更饱满，代价是组内 dispatch/combine 通信量上升，因此在带宽更高的 scale-up 网络里效果最好（SemiAnalysis InferenceX 术语表）。SGLang 在 2025 年 9 月的 GB200 NVL72 部署博客里报告，借助大规模专家并行、FP8 注意力与 NVFP4 MoE 等手段，在 DeepSeek V3/R1 上做到每 GPU 26,156 输入、13,386 输出 tok/s，较 H100 配置分别提速 3.8 倍与 4.8 倍（GB200 Part II）。

吞吐端的另一条线索来自 DeepSeek 本身。10 月 20 日，SGLang 发帖祝贺 DeepSeek 开源生产推理栈 DeepInfer，称「特别期待其中大批量与多 GPU 推理的工作」，想把这些思路带回 SGLang（致贺推文）。四天后，SGLang 发帖称已在 prefill 与 decode 两端追平 DeepInfer：4×GB300 与 4×B300 上 prefill 吞吐最高为 DeepInfer 的 1.04 倍，64×GB300 上 decode 吞吐高 7.4%，并附端到端复现指南（对比公告）。该对比未指明所用模型，与本次 V4.1 Flash 数字的关系无法从公开材料确认。

V4.1 Flash：890 字节 KV 与 189 GiB 的 Engram 表

公告针对的模型 9 月 10 日开源，SGLang 当天提供 Day-0 支持（权重发布推文）：DeepSeek-V4.1 Flash 是 552B 参数的 MoE，原生多模态，采用因果编码器-解码器（CED）架构，输入阶段激活 8B 参数、输出阶段激活 16B；每 token 全局 KV 缓存约 890 字节，约为上一代 V4 的四分之一（Day-0 支持博客）。SGLang 文档补充了实现细节：40 个解码层、384 个路由专家取 top-6 加一个共享专家，fp8 稠密权重配 fp4 路由专家，自带三段式推测草稿 DSpark。

Engram 的两块 fp8 n-gram 查找表合计 189 GiB，每步只读少量行，表放哪里比算力更关键：SGLang 在 4×GB300 的成对测试中把表移入主机内存，换来 36% 的 KV 缓存容量增益（技术深潜博客）。滑动窗口的 SWA bounded replay 在 decode 侧只重放每个请求最后 128 个 token，8×H200 上 prefill 吞吐提升 1.56 倍、4×GB300 上 1.37 倍，AIME 2026 的 pass@1 与关闭时持平。确定性上仍有保留：SGLang 文档写明输出目前不保证跨批次组合的逐位稳定，--enable-deterministic-inference 在该后端上会被拒绝。

从 Day-0 支持到本次公告，SGLang 的优化逐级累加：24 小时内把 4×GB300 上 bs=1 推到 873 tok/s（SGLang 推文）；10 月 2 日的 v0.5.21 让长提示词首 token 提速 22%（v0.5.21 发布推文）；10 月 22 日的 v0.5.22 在 Hopper 上把输出 token 吞吐最高提升 2.3 倍（v0.5.22 发布推文）。

复现之前：预览镜像与 vLLM 的对照数字

同一模型上的另一组公开数字来自 vLLM：10 月 7 日的博客报告，模型发布三周内其低并发性能提升 1.9 倍、150 TPS 约束下吞吐提升 5.3 倍（SemiAnalysis AgentX 基准），并集成了 DeepSeek 随模型开源的 MegaAttention、Mega-mHC、Mega-Gate 等融合内核（vLLM 博客）。两组数字基于不同基准，不能直接对表。

想自己复现 SGLang 数字的用户，手上还拿不到正式版。SGLang 文档写明 V4.1 Flash 支持尚未进入正式 release，标准 pip 安装无法运行，只能使用 lmsysorg/sglang:dev-dsv41 等预览镜像；文档同时警告，手动覆盖自动选择的 attention/MoE/GEMM 后端是最常见的「测出来偏慢」原因，会损失大部分 bs=1 吞吐（SGLang Cookbook）。SGLang 表示会很快分享更多更新，但未说明时间；在那之前，公告给出的仍只是两组数字，没有对应的配置与复现步骤。

参考链接

• SGLang 官方公告推文（@sgl_project，2026-10-26）
• SGLang：DeepSeek-V4.1 Day-0 支持博客
• SGLang Cookbook：DeepSeek-V4.1
• LMSYS：SGLang and Miles Add Day-0 Support for DeepSeek-V4.1（技术深潜）
• LMSYS：DeepSeek-V4 on Day 0（Mega MoE 等内核背景）
• SemiAnalysis InferenceX 术语表：Wide expert parallelism
• LMSYS：Deploying DeepSeek on GB200 NVL72（Part II）
• vLLM：DeepSeek-V4.1-Flash on vLLM（2026-10-07）
• SGLang 推文：V4.1 Flash 权重开源与 Day-0 支持（2026-09-10）
• SGLang 推文：24 小时内 bs=1 达 873 tok/s（2026-09-11）
• SGLang 推文：v0.5.21 发布（2026-10-02）
• SGLang 推文：v0.5.22 发布（2026-10-22）
• SGLang 推文：MiniMax M3.1 Flash 与 MegaKernels（2026-10-23）
• SGLang 推文：SGLang-TorchTPU 发布（2026-10-21）
• SGLang 推文：sgl-nvidia-mega 与 sgl-amd-mono 插件（2026-10-20）
• SGLang 推文：致贺 DeepSeek 开源 DeepInfer（2026-10-20）
• SGLang 推文：SGLang 追平 DeepInfer（2026-10-24）
• X 用户 Novaris 对公告的评论