AREX Feed Article
vLLM 官宣 Step 5 Preview Day-0 支持：稀疏 prefill 的 Top-k 内核延迟降 84%，并公布 12×GB300 P/D 原型
10 月 15 日晚，vLLM 项目官方账号 @vllm_project 连发 6 条帖文宣布，：稀疏注意力、MoE、多 token 预测（MTP）与视觉四条路径一并覆盖，服务侧工作横跨 Blackwell 与 Hopper，实现集中在稀疏 indexer、FP8 MegaMoE 与 cache transfer 三个部分。帖文串还给出了 B300 上的内核实测、一个 12×GB300 上的 P/D（prefill/decode 分离）原型，以及与 verl 配合的 Day-0 RL 方案。
在 B300 DEP8 上，稀疏 prefill 路径的 。这些数字均来自 vLLM 自行公布的测试；帖文同时提醒，这只是所测构建的结果，并不代表正式版验证已经完成。
先给历史分段打摘要，再决定读哪些 token
Step 5 Preview 的稀疏注意力从「区域摘要」（region summaries）开始：。主干把滑窗注意力与稀疏注意力组合起来，再叠加 MoE 与多 token 预测，另有一条视觉处理路径。
测试条件：B300 DEP8、MTP3、FP8 KV、约 6 万 token 输入
测试条件一并给出：B300 DEP8（DEP 布局下张量并行保持为 1）、MTP3、FP8 KV、约 6 万 token 的自然文本输入，并走 MegaMoE 路径。帖文附图注明了口径：条形以各自阶段的原值为 100%，各段降幅不能相加；indexer logits 与 Top-k 的数字只对各自阶段成立。这轮改动还去掉了 7 次运行时 JIT 预热（7 → 0），并把 chunk 上限设为 4,096 token。
MTP3 与基线的对照：三组分数基本持平
MTP3 与基线在 B300 DEP8 上的对照结果：，两轮验证均零请求错误。附图脚注还补了一条限定：像 GPQA、OCRBench 这样的小幅波动，不足以说明模型质量获得了普遍提升。
12×GB300 上的 P/D 原型：prefill 与 decode 分开
，并用 FP8、NIXL 与一个 384 GiB 的缓存存储衔接（图中标注为 MooncakeStore）。测试记录到 514,784 个 prefix 命中 token（91.24%）；两轮各 1,000 请求的 OCR 跑分分别为 90.4% 与 89.4%，零请求错误。帖文把这一步标为 pre-release、pre-rebase 测试。
上手入口：一个 Docker 镜像，FP8 与 NVFP4 两套精度
部署入口是 Docker 镜像 ，vLLM 同时支持 Step 5 Preview 的 NVFP4 版本。vLLM 的 把模型标为 604B MoE、1,048,576 token 上下文、多模态，并给出 H200、B300 与 GB300 NVL4 的部署命令：FP8 在单节点 4 张 B300 上起步，可选 TP4、TEP4、DEP4 三种布局；H200 用 8 卡 TP8、TEP8 或 DEP8。在 Blackwell 上，TEP4 与 DEP4 走 MegaMoE，TP4 用默认 MoE 后端（MegaMoE 需要专家并行）；Hopper 上要去掉 MegaMoE 开关。
NVFP4 版本换用 stepfun-ai/Step-5-Preview-NVFP4 检查点，并把 --max-model-len 设为 320000。页面上注明的边界包括：1,048,576 token 的上限含输入与输出，KV cache 吃紧时要下调长度或并发；模型访问权限需要自备，checkpoint 要求认证时先在容器里执行 hf auth login。
verl 的 Day-0 RL：GRPO + LoRA 训练，vLLM 负责 rollout，PR 仍是 draft
帖文串最后一条宣布了与 verl 配合的 Day-0 RL 支持：在 FSDP2 引擎上用 GRPO + LoRA 训练 FP8 文本模型，vLLM 负责 rollout，集成包含 R3 routing replay 与只传 LoRA adapter 的权重同步。具体实现是 verl 仓库里的 ，目前仍是 draft，且依赖一个启用 Step5 的 vLLM 构建；按 PR 的说法，对应的 vLLM 改动正在单独向上游合并。
PR 描述里记录了一次示例训练：4 节点 × 4 张 GB300，从零训练 194 步，AIME-2024 mean@8 从 0.375 升到 0.658，并注明这些数字要按 4,096 token 响应预算下的口径来读，大部分增益来自更多答案能在预算内完成。PR 同时说明训练器眼下只覆盖文本，视觉塔与 MTP 层不加载。
P/D 的 PR 仍处于开放状态，verl 的 PR 仍是 draft；对 P/D 的数字，vLLM 提示要以最终构建为准。