vLLM 公布 DeepSeek V4.1 Flash 在 Vera Rubin NVL72 的首批推理成绩:AgentX 曲线上单芯片吞吐称达 GB300 的 93.3 倍
北京时间 11 月 17 日凌晨(11 月 16 日 17:01 UTC),vLLM 项目官方账号发布帖文,宣布 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的首批推理成绩出炉。这套成绩由 NVIDIA Dynamo 与 vLLM 组成的推理服务栈驱动,测自 SemiAnalysis 的 AgentX 基准。帖文的原话是:「唯一比 GB300 Dynamo + vLLM 更快的,就是 Vera Rubin Dynamo + vLLM」。
据帖文引用的 InferenceX perf ruler(性能标尺)曲线,与运行同一套 Dynamo + vLLM 的 GB300 NVL72 相比,Vera Rubin NVL72 在每用户 400 tok/s 的生成速度下单芯片总 token 吞吐达 63.4 倍,600 tok/s 下达 93.3 倍。这些倍数与基准结果均为 vLLM 项目方基于自身技术栈与官方曲线的口径,未经独立验证;曲线页面已随帖文公开,指向 InferenceX 的 DeepSeek V4.1 Flash 曲线页。
图中曲线出自 vLLM 11 月 12 日的博客,比推文早四天:蓝色线是 Vera Rubin NVL72(图上标注为 vLLM 预览结果),灰色线是 Dynamo + vLLM 驱动的 GB300 NVL72(图注标明数据来自 InferenceX),纵轴为单 GPU 总 token 吞吐,横轴为每用户生成速度(P90),58 倍的标注落在约 387 tok/s/user 的位置。
两个倍数,是同一条曲线上的两个读数
推文里的 63.4 倍和 93.3 倍出自同一条「吞吐—速度」曲线,是曲线上的两个读数。perf ruler 以每用户生成速度(tok/s/user)为横轴、单芯片每秒处理的总 token 数为纵轴;按 vLLM 博客的口径,总 token 数把缓存命中的输入、新预填充的输入和输出都算在内。帖文说的「单芯片」,对应博客口径里的单 GPU。
两条曲线在 InferenceX 的 AgentX 遥测页上有案可查:Vera Rubin NVL72 · Dynamo vLLM 一条,FP4 权重,7 个数据点,并发从 1 扫到 15,800,记录于 2026-11-13;GB300 NVL72 · Dynamo vLLM 一条,FP4 权重,13 个数据点,并发 1~10,888,记录于 2026-10-20。
倍数随速度拉大的机制,图上可见。GB300 上这套栈此前公布的成绩是 95.4 万 tokens/s/GPU(P90 每用户 196 tok/s,10 月 23 日博客);一旦工作点上移、每用户速度要求更高,GB300 曲线便急剧下滑,博客图上它过了 400 tok/s/user 就滑到横轴附近,而 Rubin 曲线延伸到 1,800 tok/s 以上。帖文挑的 400 和 600 两个点,正落在 GB300 曲线急剧下滑、Rubin 仍维持高吞吐的区段。第三方 Artificial Analysis 在自己的基准里也观察到同样的形态:GB300 的吞吐在高速段掉得快,Rubin 的领先幅度随每用户速度扩大(AA 文章)。
58 倍的完整账目:170 万 tokens/s/GPU 与机架级内存池
推文的倍数有一份更完整的账目,写在 11 月 12 日的博客里:一台 Vera Rubin NVL72 机架,vLLM 在每用户 387 tok/s 的速度下做到 170 万 tokens/s/GPU,为同口径 GB300 NVL72 的 58 倍;峰值吞吐 252 万 tokens/s/GPU;单用户延迟路径 1,810 tok/s(P90)。
增益来自四组改动。内核按 Rubin 重写:MoE、attention、GEMM、mHC 和 indexer 内核用上两块内存域与 SM107 的新 MMA 指令,DEP2(数据并行注意力加 2 卡专家并行)预填充步时缩短约 28%,DEP 解码步时缩短约 25%。低延迟路径把模型用 TP8(8 卡张量并行)铺在两个 compute tray(计算托盘)上,跨 tray 的 all-reduce 只比 tray 内多 0.3 微秒。内存被池化:Mooncake KV(键值缓存)池从 DRAM 扩到空闲 HBM(高带宽显存),Engram(模型的记忆模块)的两张 94.4 GiB 哈希 n-gram 表分片进 18 张 GPU 的 HBM、经 NVLink 读取,腾出的主机内存多容纳约 1,500 个会话的前缀;高并发下前缀命中率保持在 96.5%~97%。Dynamo 的工作负载感知路由取代了会话粘滞:三个 DEP2 实例、并发 4,800 时多服务 68% 的请求,TTFT(首 token 延迟)P50 从 29.8 秒降到 4.2 秒,命中率从 91.8% 升到 96.1%。
模型本身也在这套设计里占便宜。DeepSeek V4.1 Flash 有 552B backbone 参数,预填充每 token 激活 8B、解码激活 16B,另有 196B 参数的 Engram 模块按 token 查表读取;稀疏注意力加 FP4 KV 压缩,让全局 KV cache 只有约 890 字节/token(AA 文章与 10 月 23 日博客)。博客说得很直白:这个模型小、KV 也小,单请求用不满 GPU 的 HBM,多余的空间正好交出来当池子。
Rubin 硬件给了什么:两块内存域、SM107 和一个 NVLink 域
11 月 12 日博客把 Rubin 的硬件归结为三点:每块 GPU 有两个内存域,SM 读自家域的带宽远高于跨域;SM107 加入更宽的 block-scaled MMA 指令,新的 K64 FP8×FP4 MMA 每条指令做两倍工作;72 块 GPU 共享一个 NVLink 域,TP8 跨 tray 的代价几乎为零,预填充实例还能直接读彼此的 HBM。
Artificial Analysis 整理的规格表给出更细的对照:Rubin GPU 与 GB300 的 Blackwell Ultra 同为 288 GB 显存,但 HBM4 把带宽从 8 TB/s 提到 19.2 TB/s,NVLink 6 从 1.8 TB/s 提到 3.0 TB/s,稠密 NVFP4 算力从 15 PFLOPS 提到 35 PFLOPS;一台机架里是 72 块 Rubin GPU 加 36 颗 Vera CPU。vLLM 在 10 月 9 日的支持公告里给出的口径是:相对 GB200,NVFP4 算力 5 倍、HBM 带宽 2.4 倍、NVLink 带宽 1.7 倍。
两个多月里铺出来的台阶
这套成绩是两个多月里逐级铺出来的线。9 月 8 日,vLLM 发文把 SemiAnalysis 新发布的 AgentX 用作自家 agentic(智能体式负载)优化的基准(博客);10 月 7 日,vLLM 发文记录 DeepSeek V4.1 Flash 发布当天的初始适配(day-0 bring-up)和内核融合(博客);10 月 9 日,vLLM 宣布对 Vera Rubin NVL72 的 day-0 支持——Blackwell 的 sm100f 内核可以直接跑在 sm107 上——当时 MiniMax M3 在 AgentX 上于匹配交互速度下测得 GB200 每 GPU 吞吐的 7.84 倍;10 月 23 日,P/D 分离(预填充与解码分开部署)加 Wide-EP(宽专家并行)把同一模型推上 GB300 NVL72 整机架;11 月 12 日,同一套栈整体搬上 Rubin;11 月 13 日,InferenceX 记录下推文引用的那条 Vera Rubin 曲线;11 月 16 日,官方账号把 400 和 600 tok/s/user 两个读数发了出来。
两篇博客的致谢部分写明:这轮工作由 Inferact 主导,NVIDIA 提供了 Vera Rubin NVL72 的早期使用权,DeepSeek 开源了模型和 MegaAttn、MegaMoE、Mega-mHC 等内核。10 月 23 日那篇还留了一个参照:在 GB200 上,vLLM 的解码吞吐与 DeepSeek 自家引擎 DeepInfer 公布的曲线相差在 6% 以内,而 DeepInfer 本身最早是在 vLLM 上搭起来的。推文发出后,X 账号简介写着「building @inferact for @vllm_project」的 Simon Mo 在下面回复了一句「vLLM 不是汽车」——帖文原文里正有一枚赛车表情符号(回复)。
AgentX:各家共用的性能尺子
AgentX 是 SemiAnalysis 的公开 agentic 推理基准,用 300 万美元采购的真实编码代理轨迹搭建,上下文最长 100 万 token,跑在 1,000 余块芯片、约 2 MW 的公开基础设施上。工作负载的形状决定了它的难度:会话中位 43 轮,输入中位 14.2 万 token 而输出只有 444 token,96% 以上的输入是前一轮见过的前缀,44% 的会话带子代理(subagent)。AA 描述同类工作负载时给的数字是:请求最多携带 13.2 万输入 token,平均 97% 的输入 token 与上一请求重复,回复常常只是一次简短的工具调用。
InferenceX 的遥测库目前收录 12 个模型、149 个服务配置、5,582 个基准点;DeepSeek V4.1 Flash 552B 一个模型就有 23 个配置、1,322 个点。同一张列表里还排着 GB300 上的 Dynamo SGLang、TensorRT-LLM、TileRT,以及 AMD MI355X 的多个配置——曲线和倍数摆在一起,可以直接翻看。
另一个量级:独立测过的读数与没对齐的口径
独立第三方在 Rubin 上有自己的读数,量级不同。Artificial Analysis 的 AA-AgentPerf 在 10 月 15 日的首批发文里写道:DeepSeek V4.1 Flash 上,Vera Rubin NVL72 的每兆瓦总吞吐最高约为 GB300 NVL72 的 5.4 倍(每用户约 580 tok/s 处),单 GPU 口径峰值 65.1 万对 28.4 万 tokens/s(2.3 倍),高速段差距最大约 18 倍;AA 的 Vera Rubin DeepSeek V4.1 Flash 配置同样用 vLLM 加 NVIDIA Dynamo。AA 同时标注了一个可能抬高 Rubin 读数的细节:NVIDIA 的 Vera Rubin 配置把回复上限设在 2,048 个输出 token,其他系统是 16,384,约 2% 的回复触顶、平均回复短了约十分之一。
两边的倍数不可直接互比:基准不同(AgentX 与 AA-AgentPerf),配置不同,时间点相差一个月。63.4 倍与 93.3 倍长在 vLLM 自己引用的曲线上,AA 的 18 倍长在另一个基准里;两组遥测都已公开,在可查的公开材料里,它们还没有被放进同一口径直接对照过。
参考链接
- vLLM 项目官方帖文(@vllm_project,2026-11-16)
- InferenceX:DeepSeek V4.1 Flash 曲线页(perf ruler)
- vLLM 博客:DeepSeek-V4.1-Flash on Vera Rubin NVL72(2026-11-12)
- InferenceX:AgentX 遥测页
- vLLM 博客:Serving DeepSeek-V4.1-Flash at Scale(GB300 NVL72,2026-10-23)
- Artificial Analysis:First AA-AgentPerf results for NVIDIA Vera Rubin NVL72(2026-10-15)
- vLLM 博客:vLLM Support for NVIDIA Vera Rubin NVL72(2026-10-09)
- vLLM 博客:vLLM x AgentX(2026-09-08)
- vLLM 博客:DeepSeek-V4.1-Flash day-0 bring-up(2026-10-07)
- Simon Mo 的回复(@simon_mo_,2026-11-16)_