AREX Feed Article
vLLM 宣布支持 NVIDIA Vera Rubin，称 MiniMax M3 在 AgentX 基准上吞吐超过 GB200 的 7.8 倍
10 月 10 日，发布一组五条串帖，宣布 vLLM 现已支持 NVIDIA Vera Rubin 平台；同一天，确认，MiniMax M3 已在 NVIDIA Vera Rubin NVL72 上通过 vLLM 运行。vLLM 在帖文中称，以 Vera Rubin NVL72 服务 MiniMax M3、在匹配交互性（matched interactivity）下，AgentX 基准上的吞吐超过 GB200 的 7.8 倍。
vLLM 是开源的 LLM 推理与服务引擎。这项支持由多方共同推进：帖文称，自 Rubin 公布以来，inferact、NVIDIA AI、Red Hat AI 的工程师与 vLLM 社区一直在做 vLLM 在 Rubin 上的适配；完整的技术细节与更多数字，收录于 vLLM 10 月 9 日发布的中。
两个基准：AgentX 与 MLPerf Inference v6.1
vLLM 在中说明，数字来自两个基准。第一个是 SemiAnalysis 的 AgentX，博客给出的精确数字是：MiniMax M3 在 Vera Rubin NVL72 上、匹配交互性下，单芯片吞吐最高达到 GB200 的 7.84 倍；在 150 TPS（每秒 token 数）约束下，较 GB200 高出 5.18 倍。vLLM 贴出的结果图以 P90 交互性（token/秒/用户）为横轴、单芯片吞吐（token/秒）为纵轴，图中标注了两处结果：7.84 倍与 5.18 倍；图表显示数据来自 SemiAnalysis InferenceX、更新于 10 月 8 日，并注明这是「官方预览」：结果可能随验证与发布进度变化。
第二个基准是 MLPerf Inference v6.1。vLLM 称，以 vLLM 为后端推理引擎、NVIDIA Dynamo 为前端路由，部署 Qwen3-VL-235B-A22B，Vera Rubin NVL72 在离线、服务器与交互三种场景下的吞吐最高达到 GB300 NVL72 的 3.7 倍。NVIDIA 在 中给出同样的数字，并称这是 Vera Rubin NVL72 的首次 MLPerf 预览提交。inferact 的也给出相同的「超过 7.8 倍」口径，并称「这些是早期结果」。以上数字均出自当事方的官方发布。
Blackwell 内核无需修改，编译目标是新的 sm107
Rubin 延续 Blackwell 的架构家族，加入扩展的 tcgen05 张量核心指令。它带来了新的 GPU 编译目标 sm107，而为 Blackwell 家族目标 sm100f 编译的内核同样能在 Rubin 上运行。vLLM 在中称，其 Blackwell 内核无需任何修改即可在 Rubin 上运行，尤其是 attention 与 MoE（混合专家）这类 GEMM（通用矩阵乘法）密集的内核；FlashInfer 0.7.0 新增了针对 Rubin 调优的 attention、GEMM 与 MoE 内核。vLLM 团队还为 Rubin 调优了 MiniMax 稀疏注意力（MSA）的 prefill（预填充）内核。
硬件层面，相比 GB200，Rubin 的 HBM（高带宽内存）带宽约为 2.4 倍（由 HBM3e 升级到 HBM4），双向 NVLink 带宽为 1.7 倍，softmax 指数运算快 2～4 倍。vLLM 提到，更快的 NVLink 能降低 MoE 服务中 AllReduce 与 all-to-all 通信的成本。
locality domain：让每个 SM 只读本地的 HBM
自 Ampere 架构起，NVIDIA GPU 的全局内存访问就存在非均匀性；CUDA 13.4 引入的 locality domain（局部性域）把 HBM 分区，分区内的 SM 读取本区显存最快。vLLM 在中称，其 locality-aware MoE 把 MoE 层 FC1、FC2 的权重按列切分（split-N），分别放进不同 locality domain 的显存，再借助 Green Contexts 与 CUDA stream 在每个域上各启动一个内核，使每个 SM 只读本地 HBM。
这么做是因为 MoE 解码受限于从 HBM 读取权重。早期结果：vLLM 博客称小 token 前向场景中平均约 1.2 倍提速，vLLM 帖文与 则称 MoE 解码层最高快 1.2 倍。博客还给出两个实现细节：默认模式下两个域合计只能用 200 个 SM，创建域时启用 backfill 后可用满 212 个；在 TP2、TP4 与 EP2、EP4 等并行策略下，趋势类似。
现在就能拉取的 nightly 镜像
vLLM 称用户已可通过 nightly 镜像 vllm/vllm-openai:cu134-nightly（基于 CUDA 13.4 与 PyTorch 2.15）在 Rubin 硬件上运行 DeepSeek、Kimi、GLM 与 MiniMax 的模型；每日容器构建已经就绪。博客把这部分称为「Day-0 可用性」，附录列出了各优化内核的启用方式，例如 NVFP4 MoE 需要通过 --moe-backend flashinfer_cutedsl 打开。
MiniMax 的致谢与 inferact 的补充
MiniMax 的帖文很简短，除确认 M3 已在 Vera Rubin NVL72 上运行，只有一句「感谢 vLLM、inferact、NVIDIA AI 与 Red Hat AI 把 M3 带到 Rubin」。
inferact 给出了更多细节。其串帖称，团队共同牵头这项工作，与 NVIDIA 一起负责性能调优、MSA 内核集成与 locality-aware MoE；称「这些改动会进入开源 vLLM，Inferact 平台直接受益于上游调优」，该账号还自我介绍为「由 vLLM 的创建者与核心维护者创立」。vLLM 博客的致谢部分列出了各方的具体贡献：NVIDIA 提供 Vera Rubin NVL72 的早期访问；Inferact 与 NVIDIA 主导 Rubin 协作、推动性能调优与 MSA 内核集成；NVIDIA 与 Red Hat 搭建并启用每日 Docker 构建。
待办清单：全面启用 locality domain，补齐新内核
vLLM 列出的近期计划包括：把 locality domains 完整用在 MoE 层；通过 FlashInfer 集成 sm107 的 MegaMoE；用 PDL 与 Lamport Sync 挖掘层与内核之间的重叠机会；为 Kimi K3 优化 KDA 与 MLA 内核；为 DeepSeek-V4.1-Flash 集成 CSA 与 HCA 内核；完成 Rubin 的 MSA 解码内核；以及通过 FlashInfer 把 CFT counted-write MoE all-to-all 内核并入 vLLM。
vLLM 表示，随着获得更多 Vera Rubin NVL72 节点，测试范围会扩大、优化也会加快；已公布的 locality domain 提速集中在小 token 的 MoE 解码场景，完整启用仍列在下一步工作里。