AREX Feed Article
SGLang 宣布 DeepSeek V4.1 Flash 单 GPU 峰值总吞吐四天从 654K 提至 1.09M tok/s，并发 1 实测 943 tok/s/用户
2026 年 10 月 31 日 02:16（UTC，北京时间当日上午 10 时 16 分），开源推理框架 SGLang 的官方项目账号 @sgl_project ：DeepSeek V4.1 Flash 在 SGLang 上的单 GPU 峰值总吞吐（口径为缓存 + 新输入 + 输出）过去四天从 654K 提升到 1.09M tok/s，负载为 AgentX；同一帖文还报告并发 1 时经 MegaKernel（SGLang 的超低延迟推理路径）实测 943 tok/s/用户，并以“还有更多”（There is still more to come）收尾。帖子开头一句“没有警报”（No alerts），随后直接给出这两组数字。
帖子附带的是一张标注 “Source: SemiAnalysis InferenceX™”、更新日期为 2026-10-30 的图表：DeepSeek V4.1 Flash 552B 在配置标注 “GB300 NVL72（Dynamo SGLang）” 下，每芯片 token 吞吐对 P90 交互性的曲线，顶端配置约 1.09M tok/s/chip，与帖文数字一致。这是一条来自推理栈团队、引用基准平台图表的自报结果，帖文没有给出测试配置的全部细节。
两次公告，两端同时推进
把该账号近几天的帖文排成时间线，这轮提升分两步。10 月 26 日 22:27（UTC）的写道，团队在同时推进曲线两端：低延迟端，MegaKernel 优化把“交互性”（interactivity，按每用户每秒 token 数计）从 538 提到 943 tok/s/用户；高吞吐端，WideEP 与系统级优化把总吞吐（缓存 + 新输入 + 输出）从 348K 提到 654K tok/s/GPU，帖文当时说“还有很大提升空间”。
四天多之后（10 月 26 日 22:27 至 10 月 31 日 02:16，相隔四天近四小时，与帖文“过去四天”的口径一致），10 月 31 日的帖文把吞吐再抬一截：654K → 1.09M tok/s/GPU，涨幅约 67%；与 10 月 26 日帖文中的 348K 相比累计约 3.1 倍。943 tok/s/用户并不是新数字——10 月 26 日帖文已报告 MegaKernel 把交互性从 538 提到 943，10 月 31 日帖文重申了它，并注明口径为并发 1 下的 MegaKernel 路径实测。
附图指向 GB300 NVL72（Dynamo SGLang）
附图横轴为 P90 交互性（第 90 百分位，tok/s/用户），纵轴为每芯片 token 吞吐（tok/s/chip）。曲线由若干按专家并行布局标注的点连成——从左上到右下依次是 9×DEP2+1×DEP16、8×DEP2+1×DEP16、5×DEP2+1×DEP16、3×DEP2+1×DEP16、TEP2 和三个 TP4 配置——呈现吞吐与交互性的取舍：最左上的 9×DEP2+1×DEP16 达到约 1.09M tok/s/chip、P90 交互性约 115 tok/s/用户；最右侧的 TP4 配置把交互性推到约 950 tok/s/用户，单芯片吞吐则降到约 1.3 万 tok/s。图中出现的硬件与栈组合标签是“GB300 NVL72（Dynamo SGLang）”。
该账号 10 月 29 日的写到 V4.1 Flash 运行在 GB300 NVL72 上，称 SGLang 激进的内核融合在继续推高性能，当时已“逼近 1,000 tok/s/用户”；帖文同时感谢 SGLang 贡献者和 NVIDIA，并向提供基准的 @SemiAnalysis_ 致谢。两天后公布的低延迟数字仍是 943 tok/s/用户；附图更新于 10 月 30 日，早于发帖。
AgentX：SemiAnalysis 的编码代理负载
AgentX 是 SemiAnalysis 推出的代理（agentic）基准。8 月 25 日，SGLang 账号在 SemiAnalysis 时写道“恭喜 AgentX 上线！很高兴看到 SGLang 上有出色表现”。10 月 23 日的在介绍 MiniMax M3.1 Flash 支持时把负载形态写得更具体：在 AgentX 编码代理轨迹（coding-agent trace）的 96 个并发会话下，每 GPU 总吞吐约 100K tok/s；同一条帖文还称 MegaKernel 让该模型的单请求解码速度达到原来的 2.15 倍。
两家还有一个已排期的公开交集：10 月 20 日的预告 11 月 12～13 日在旧金山 Fort Mason 举行的 SGLang Summit 上将有 AgentX 基准，并称将分享更多双方合作的内容。10 月 31 日帖文没有展开说明 AgentX 这次运行的具体负载参数。
552B 开源模型与 9 月上线的推理栈组合
DeepSeek V4.1 Flash 于 9 月 10 日发布权重。SGLang 当天的给出了模型轮廓：552B 主干（backbone）参数、16B 激活解码、8B 激活预填，196B 参数的 Engram 查找记忆，原生多模态，上下文最高 1M token。Hugging Face （9 月 10 日发布、10 月 16 日更新）补充了结构：20 层因果编码器加 20 层解码器；CSA2 稀疏注意力与 FP4 主 KV 缓存把每 token 全局 KV 压到 890 字节，约为上代 V4 Flash 的四分之一；DSpark 投机解码；权重以 MIT 许可开源，近 30 天下载约 207 万次。
推理栈这边，SGLang 在 9 月 10 日宣布 day-0（发布当日即可运行）支持后，9 月 11 日的称，上线后 24 小时内通过 FP8 GEMM（FP8 矩阵乘）快路径、内核融合与重叠、DSpark 优化和 MoE TP4（专家层 4 路张量并行），把 4×GB300、BS=1（批大小为 1）的输出速度推到 873 tok/s。SGLang 的记录了从 35.2 到 873.6 tok/s 的 16 轮内核优化全过程，并附逐步复现说明。10 月 22 日发布的 版本说明中，DeepSeek-V4.1-Flash 在 Hopper 上的输出 token 吞吐最高达到原来的 2.3 倍。
自报数字的边界：口径、配置与复现
按归因层级拆开：654K 基线和“过去四天”的跨度出自 SGLang 自述；1.09M 这个顶端点能在其引用的 SemiAnalysis InferenceX 图表上对上；但公布数字的推理栈团队与提供图表的基准平台同属一个生态，截至发稿，公开渠道能检索到的相关内容基本来自该生态，未见独立第三方的复现数据。1.09M 这次运行所用 GPU 型号只出现在图表标签和另一条帖文里，AgentX 负载的具体参数（输入输出长度、并发数、缓存命中率）帖文中均未说明。
可以核对的是该团队此前的复现习惯：9 月那轮 873 tok/s 的结果在博客里有逐步复现说明；10 月 27 日的还发布了一段两分钟说明视频，回应社区关于 SGLang 如何“追平 DeepInfer”（matched DeepInfer）的讨论，称视频包含所用基准、已并入 SGLang 的 DeepSeek 内核和复现方法。1.09M 这组数字对应的复现文档，目前尚未见到。
生态内反应与下一个公开节点
原帖发出 13 分钟后，Banghua Zhu（其 X 个人简介标注为 radixark 联合创始人兼 CTO）：“四天，每 GPU 从 654K 到 1.09M tok/s——这支团队一直在闷头干活”。Miles 是 radixark 生态中的 RL 训练框架——SGLang 10 月 22 日的 提到 RL 训练经由 Miles（@radixark）进行。
这轮数字的下一个公开核对点已经排定：11 月 12～13 日在旧金山 Fort Mason 举行的 SGLang Summit，会上将有 AgentX 基准与双方合作的分享。1.09M 与 943 这两个数字能否在公开场次被独立复现，届时可以对照。
参考链接
- _