vLLM 公布 MiniMax-M3.1-Flash 在 Vera Rubin NVL72 上的新成绩：AgentX 对比 GB300 NVL72 总 tok/s/chip 最高 10.2 倍

vLLM 项目官方 X 账号 @vllm_project 于 11 月 11 日 23:25（UTC，北京时间 11 月 12 日 07:25）发帖，公布了 MiniMax-M3.1-Flash 在 NVIDIA Vera Rubin NVL72 上的最新推理服务性能：在 SemiAnalysis 的 AgentX 基准上，与同一引擎运行在 GB300 NVL72 相比，546 P90 tok/s/user 档位的总 tok/s/chip（含缓存命中 token）达到 10.2 倍，376 P90 tok/s/user 档位达到 6.5 倍；低并发下每用户 P90 速度最高 1,205 tok/s（推文）。

vLLM 把增益归因于两部分：引擎层的优化（例如消除 CPU 开销），以及面向 Rubin 优化的 kernel，包括 MiniMax Sparse Attention 和面向 decode（解码）的专用 kernel，并向 NVIDIA 与 MiniMax 致谢（帖文自回复）。帖文同时说明，10 月 23 日发布的 M3.1 博客覆盖了第一波 Rubin 优化，此后性能又继续向上推。截至发稿，这组数字只有 vLLM 单方发布的口径，本文未做独立复测。

口径拆解：含缓存的总吞吐与 P90 交互速度

AgentX 是 SemiAnalysis 的公开 agent（智能体）推理服务（serving）基准，请求来自真实的 agent 编码 trace（请求轨迹）：会话中位 43 轮，输入中位 142K token，输出中位只有 444 token，前缀缓存命中率超过 96%（vLLM 9 月的 AgentX 说明博客）。推文里的「总 tok/s/chip（含缓存命中）」与 vLLM 在 9 月博客里解释的 TPGS（total tokens per GPU-second，每 GPU 每秒处理的总 token 量）口径一致——输入、输出和缓存命中的 token 一起计入；P90 tok/s/user 是每用户 token 速度的第 90 百分位，即九成用户的速度不低于这条线（9 月博客）。

这个口径对 agent 负载影响很大：agent 会话的每一轮都把累积的完整上下文重放一遍，新增内容只占很小比例，前缀缓存命中与否直接决定引擎实际要算多少 token（9 月博客）。另外，这次对比两侧跑的都是 vLLM（推文原文：vLLM on Rubin vs. on GB300 NVL72），所以倍数反映的是硬件平台与针对平台的优化，而不是引擎实现的差异（推文）。

低并发一档给出的是前沿另一端的数字：每用户 P90 速度最高 1,205 tok/s，对应延迟敏感、并发不高的场景（推文）。作为参照，vLLM 10 月 23 日博客中给出的 MiniMax-M3.1-Flash 在 Rubin 上的延迟敏感端成绩是 724.9 tok/s/user，这次公布的新端点比它高出约 66%（M3.1 博客）。

归因：引擎层消 CPU 开销，加上面向 Rubin 的专用 kernel

关于引擎层，vLLM 在推文里举的例子是「消除 CPU 开销」（eliminating CPU overheads）。同一团队 9 月的 AgentX 博客描述过这一类工作：混合架构模型的 KV cache（键值缓存）要为不同注意力类型分别构造键、执行查找，CPU 开销成倍放大，vLLM 用更高效的数据结构、异步查找、把工作移出调度器关键路径等方式压缩这部分成本（9 月博客）。

kernel 侧的脉络在两篇更早的博客里。10 月 9 日的 Rubin 支持博客写道，vLLM 经由 FlashInfer 0.7.0 获得面向 Rubin 调优的 attention、GEMM（矩阵乘）和 MoE（混合专家）kernel，并为 Rubin 调优了 MiniMax Sparse Attention（MSA）prefill（预填充）kernel；当时的下一步计划里明确列着「完成并集成 Rubin MSA decode kernel」（Rubin 博客）——这次推文里「面向 decode 的专用 kernel」所指的工作与这条计划对应。同一博客还介绍了利用 CUDA 13.4 的 locality domain（局部性内存域）特性拆分 MoE 权重的做法：让每个 SM（流式多处理器）只从物理上离自己最近的显存读权重，在小 token forward（前向计算）场景平均带来 1.2 倍提速（Rubin 博客）。

硬件规格是对照的另一半。按 vLLM 10 月博客给出的数据，Vera Rubin NVL72 相对上一代 GB200 NVL72 有 5 倍 NVFP4（NVIDIA 4 位浮点格式）FLOPS（每秒浮点运算次数）、约 2.4 倍 HBM（高带宽显存）带宽（HBM3e 升级为 HBM4）、1.7 倍双向 NVLink 带宽，softmax 依赖的指数运算吞吐提高 2 倍（FP32）到 4 倍（BF16/FP16）（Rubin 博客）。这些倍数是相对 GB200 的；这次 10.2 倍的对比基线则是 GB300 NVL72。

MSA 与 NVFP4：decode 显存读取降到密集注意力的约 12.5%

推文把 MSA 列为增益来源之一。按 vLLM 的 M3.1 博客，M3 家族用分块稀疏注意力替代全注意力：KV cache 按 128 token 一块切分，轻量 indexer（索引打分模块）给上下文里的每个 key 打分、再汇总成块级分数，主注意力只在得分最高的 16 个块上精确执行（最近的块始终保留），单个 query 覆盖的 key 上限固定在 2,048 个，与上下文长度无关；长上下文 decode 时每步 HBM 读取量降到密集注意力的约 12.5%（M3.1 博客）。

MiniMax-M3.1-Flash 在架构上为推理效率做了原生设计：NVFP4 量化的 KV cache 每 token 只占 34,560 字节，比 FP8（8 位浮点格式）的 61,440 字节少 43.75%；NVFP4 专家权重把 checkpoint（模型权重文件）从 451.5 GB 压到 250.1 GB；另配 DSpark 起草模型（draft model）做投机解码（speculative decoding）（M3.1 博客）。

面向 Rubin（SM107）的 MSA kernel 在 M3.1 博客中已有具体做法：indexer 把 NVFP4 直接转成 FP16 做分数 MMA（矩阵乘累加指令），反量化指令减少约三分之一，分数还是精确值；每条 MMA 结果只应用一次块缩放的 packed fma.rn.f32x2.f16x2 指令；Rubin 更大的共享内存（328 KB，Blackwell 为 228 KB）和更多 Tensor Memory 列（576 对 512）允许每 SM 同时跑 3 个 CTA（CUDA 线程块）；prefill 稀疏注意力则借助 locality domain 分配缓冲区（M3.1 博客）。

从 7.84 倍到 10.2 倍：一个多月里的三组 Rubin 数字

这是 vLLM 就 Rubin 公布的第三组性能数字。10 月 9 日的首篇 Rubin 博客用 MiniMax M3 测试：AgentX 上匹配交互性时每 GB200 GPU 吞吐最高 7.84 倍，150 TPS（每秒 token 数）约束下高 5.18 倍；同轮 MLPerf Inference v6.1 的 VLM 项目（Qwen3-VL-235B-A22B，vLLM 做后端推理引擎、Dynamo 做前端路由）比 GB300 NVL72 高达 3.7 倍（Rubin 博客）。10 月 23 日，M3.1-Flash 的 day-0 支持博客给出 Rubin 上的新前沿：延迟敏感端 724.9 tok/s/user，吞吐端 191.5K tok/s/GPU（每用户约 134 tok/s）；同篇里 GB300 的延迟敏感端是 418.9 tok/s/user（M3.1 博客）。

上图为 vLLM 10 月 9 日博客贴出的上一轮 AgentX 对比（MiniMax M3，Rubin NVL72 对 GB200 NVL72，标注 7.84x 与 5.18x）；11 月 11 日这次公布的是新一轮口径：模型换成 M3.1-Flash，基线换成 GB300 NVL72，546 档倍数标到 10.2 倍（推文）。两组数字口径不同，不能直接比较。

单方口径之下，复核路径与未说明的细项

这组数字目前的证据链只有 vLLM 自己的帖文和博客。推文下的回复中，@agneau123（Tommy）评论「硬件换代仍需要一个调好的 serving 栈」；@Fanfulladev 认为把缓存命中计入吞吐对 agent 负载是公平的，因为「agent 循环一整天都在重读同样的上下文」（回复一、回复二）。两条都是观点，不是复测。

复核的入口是公开的：AgentX 的 harness（基准测试框架）在 GitHub 上以 SemiAnalysisAI/agentx-harness 开源，结果发布在 SemiAnalysis 的 InferenceX dashboard（结果看板）上，vLLM 9 月的博客称该基准跑在超过 1,000 颗芯片、约 2 MW 算力的公共设施上（9 月博客）。10 月博客把全面启用 MoE locality domain、集成 sm107 FlashInfer MegaMoE、通过 PDL 与 Lamport Sync 挖掘更多重叠机会等列为后续计划，其中哪些已随这次的成绩落地，帖文没有逐项说明。至于 10.2 倍里引擎优化与两类 kernel 各占多少，vLLM 的帖文同样没有拆分；10.2 倍和 1,205 tok/s/user 目前都还只有 vLLM 一家的测试背书。

参考链接

• vLLM 官方推文：Rubin NVL72 上的 AgentX 新成绩（2026-11-11）
• vLLM 推文自回复：增益归因与博客链接
• vLLM 博客：vLLM Delivers Day-0 Support for MiniMax-M3.1-Flash（2026-10-23）
• vLLM 博客：vLLM Support for NVIDIA Vera Rubin NVL72（2026-10-09）
• vLLM 博客：vLLM x AgentX: Optimizing for Real-World Agentic Serving（2026-09-08）
• Tommy（@agneau123）对上述推文的回复
• Fanfulla（@Fanfulladev）对上述推文的回复