AREX Feed Article
vLLM 官宣 Reflection-Beam-1.0 Day-0 支持：总参数 501B、每 token 激活 23B，SkyRL 同步获 Day-0 RL 支持
vLLM 项目官方账号 于北京时间 10 月 16 日 23 时 26 分发布六条推文组成的推文串，宣布 Reflection AI 的 Reflection-Beam-1.0 在发布首日即获 vLLM Day-0 支持：总参数 501B，每 token 激活 23B，上下文窗口 1M token，注意力采用 512-token 滑窗与全局 NoPE（无位置编码）注意力交替的混合架构。运行入口同步开放，专用 Docker 镜像 vllm/vllm-openai:reflection-beam 已可拉取。同一条推文串还宣布，Beam 在 NovaSky 的 SkyRL 框架中获得 Day-0 RL（强化学习）支持，LoRA（低秩适配微调）、BF16 全量微调与 MXFP8 RL 三种训练方式开箱即用，采样生成（rollout）由 vLLM 承担。
Beam 的权重当天已发布在 Hugging Face：Reflection 在公告中确认，权重以 Apache 2.0 许可放出，含 BF16、FP8、NVFP4 三种精度和一个投机解码 drafter（草稿模型），并称 Beam 是该公司的第一个开放权重模型。时间线由此闭合—— 10 月 5 日报道了 Beam 的官宣：一个纯文本 MoE（混合专家）模型，预训练消耗 23.8 万亿 token，Reflection 宣称以更低推理算力对标中国开放模型且性能声明未经独立核实，并承诺本月放出权重；10 月 16 日，权重与 vLLM、SkyRL 的 Day-0 支持同日到位。vLLM 在推文串中说明，服务路径由其与 Reflection AI、Inferact 的合作完成，覆盖从融合内核到 DFlash 投机解码。
43 层滑窗与 9 层全局注意力：1M 上下文的 KV cache（键值缓存）压到约 18 GiB
补全了架构细节。Beam 是 52 层 MoE 解码器，hidden size 5,120：前 3 层为稠密 SwiGLU MLP，其余 49 层为 MoE 层，每 token 从 256 个路由专家中激活 8 个；路由沿用 DeepSeek-V3 方案，sigmoid 打分加修正偏置，先从 8 个专家组中选 4 组、再选出 top-8，与 DeepSeek-V3 不同的是没有共享专家；router 的权重、累加与 logits 全程保持 FP32。每个子层前后各有一层 RMSNorm（sandwich norm），残差按深度缩放以保持方差稳定。
注意力层是与标准 pre-norm MoE 差异最大的部分：43 层对最近 512 个 token 做滑窗注意力并带 RoPE（旋转位置编码），另 9 层（每隔 6 层出现一次、外加最后一层）做不带位置编码的全局 NoPE 注意力，NoPE 层用 SSMax 对 query 按 (1+p/2048)^0.1 缩放，让 softmax 随上下文变长保持锐度。注意力采用 GQA（分组查询注意力），48 个 query 头、8 个 KV 头，head dim 128。这一组合的直接后果是 KV cache 很小：只有 9 个全局层保存 KV，每 token 仅 36 KiB（BF16）或 18 KiB（FP8），1M 上下文在分片前约 18 GiB FP8 KV——推文串称这种交替「以局部处理搭配长上下文访问」。
输出端，logits 经 30·tanh(z/30) 软上限处理（的架构表列出了这一设计），Inferact 为此写了专门的 tanh softcap 内核。推理与工具调用结构由 Harmony 格式承载，vLLM 的 beam 解析器读取随权重发布的响应模板，并默认把每条输出约束在该模板内，保证工具调用始终可按 JSON schema 解析。Beam 另配一个 5 层 drafter：5 个滑窗层从目标模型的 5 个层读取 hidden states，共享目标模型的 embedding 与 LM head，一次前向预测一整块投机 token。
Inferact 融合内核、编码智能体调优：微基准提速，官方注明非端到端
Reflection 的公告把 vLLM 的 Day-0 支持标注为 Inferact 的工作；vLLM 博客致谢列出的 Inferact 成员包括 Woosuk Kwon、Ziqi Zhao、Ao Shen 与 Tiezhen Wang。推文串列举三项内核优化——all-reduce 融合进 norm、打包 QKV 路径、tanh softcap 内核——并给出 GB200 前向微基准：TP4（张量并行 4 路）batch 1 从 4.23 ms 降到 3.89 ms，TP8 batch 128 从 8.15 ms 降到 6.47 ms。帖文同时自己划出边界：「这些是以 dummy 权重测得的前向微基准，不是端到端服务结果」，幻灯片也把内核耗时与前向耗时分开呈现。
vLLM 博客披露了另一条优化路线：初版实现几乎纯 PyTorch，随后由编码智能体（coding agent）自主完成性能剖析、内核编写与逐项基准测试，七项改动把 TP8 batch 1 解码从每步 8.95 ms 压到 3.30 ms（博客称快 2.71 倍），约 100K 上下文的 8×2,048 token prefill（预填充）从 328 ms 降到 176 ms（博客称快 1.87 倍）。优化后每层 MoE 在 TP8 batch 1 解码下运行 13 个 kernel，其中 6 个是为 Beam 编写、融合或扩展的，包括把每层的两次 TP all-reduce 建立在 FlashInfer 多播 all-reduce 之上并入 norm kernel。面向高并发 prefill，Attention DP 搭配 FlashInfer CuTe DSL NVFP4 MegaMoE 在 4×GB300 上把峰值输入吞吐从 TP4 路径的 98.7K token/s 提到 168.8K token/s（1.71 倍）。
DFlash2 投机解码：Reflection 自报 1.72～3.03 倍仅解码加速，不含 prefill
推文串援引 Reflection 的数据：DFlash2 在 GSM8K、MATH500、HumanEval、MBPP 与 MT-Bench 五个基准、并发 1、16、32 三档下取得 1.72～3.03 倍的仅解码（decode-only）加速，GSM8K 三档分别为 3.03、2.51、2.75 倍；测量在 prefill/decode 分离设置下进行，prefill 时间不计入。帖文还给出一个细节：drafter 以块大小 16 训练，但 Reflection 报告 K=7 时吞吐更佳——vLLM 博客的推荐配置同样写的是 num_speculative_tokens=7。
vLLM 博客自己的服务测试是另一组口径：TP8 上单请求 708 token/s，接受长度约 3.7（每步平均被接受的草稿 token 数）；开启自适应验证（每步预测各草稿 token 的接受概率，只验证值得验证的部分）后，并发 128 时吞吐从 15,012 提到 16,632 token/s（+10.8%），p99 TPOT（第 99 百分位的每 token 生成延迟）下降 9%，低并发时则接近中性。这组数字取自 SPEED-Bench 低熵类目的 throughput_1k 切分，博客提醒低熵文本更易预测，开放式聊天场景的接受率会更低。
在重放多轮编码对话的 AgentX 基准上，vLLM 在 4×GB300（TP4/EP1、FP8 KV cache）的 96 并发下测得每 GPU 约 88K token/s 的总吞吐（计入输入与输出 token）；博客注明总吞吐计入缓存命中的输入 token，本次扫描的缓存命中率介于 91.4%～95.6%。
SkyRL 第一次做 Day-0 RL：+62% 来自按真实秩分配专家适配器
称，这是该框架第一次为模型提供 Day-0 RL 支持。验证在 DAPO 配方上进行：LoRA 用 4 台 B200 节点、BF16 全量微调用 8 台 B200 节点，训练用 Reflection 提供的 Megatron-Bridge 实现，50 个训练步（100 次优化器更新）内 AIME25 的 avg@8（8 次采样平均准确率）从约 61% 升到约 79%；开启 Rollout Routing Replay（R3）后，训练与推理的平均绝对对数概率差约 0.008，MXFP8 RL 约为 0.03。vLLM 博客给出的口径相同，并称三种训练方式在这组短程验证中增益相近。
推文串重点引用的 +62% 出自 SkyRL 对 vLLM 的改动。Beam 每个 MoE 层有 256 个专家，LoRA 要给每个专家挂 adapter（适配器）；按 normalize_moe_lora=True 的惯例，专家适配器的秩应取 r/top-k（r=64 时为 8），而 vLLM 原本把每个 LoRA slot 都填充到满秩。改为按真实秩分配适配器后，SkyRL 测得 LoRA 解码吞吐从 276 提到 447 token/s/GPU（并发 32、PP2×TP8，即 2 路流水线并行加 8 路张量并行），每 token 延迟下降 41%，每 GPU 多出 10 GiB KV cache（54.3→64.3 GiB）。推文明确标注这是解码结果，不是端到端训练加速。SkyRL 博客还报告 MXFP8 混合精度把 DAPO 运行的生成吞吐提高 44%。
其余适配围绕 501B 的体量展开：R3 与流水线并行打通——SkyRL 解释，Beam 在 BF16 下超出单节点显存，因此优先扩展流水线并行；Megatron 与 vLLM 之间同步权重时保留 FP32 router 权重；BF16 全量微调的优化器状态约 9 TB，SkyRL 把它卸载（offload）到节点本地 NVMe 并逐块流过 GPU，主机内存占用从约 13.5 TB 降到 3.2 TB 以内。推文特别致谢了 Sumanth Hegde 与 SkyRL 团队。
上手路径与数字口径：两组聊天吞吐不可直接比较
推文串末尾附上上手用的 recipe————默认配置是单台 GB300 节点 TP4 加 DFlash2 与 FP8 KV cache，追求低延迟用 TP4/TP8，追求吞吐用数据并行注意力加专家并行。并发 16 的聊天测试中，4× B300 NVFP4 TP4 达到 1,769 token/s 的输出吞吐，8× B300 FP8 TP8 为 1,300；帖文自己提醒两者 GPU 数量与精度不同，且使用 BF16 KV、输出长度可变，不能直接比较。
生态侧，Reflection 公告列出超过 40 个合作伙伴与集成，除 vLLM（Inferact）外，Transformers、SGLang（RadixArk）、Unsloth、Axolotl、TokenSpeed 与 NVIDIA Dynamo 也在发布当天提供 Day-0 支持。TechCrunch 在 Beam 官宣时即指出 Reflection 的性能声明未经独立核实；本文引用的性能数字同样全部来自 vLLM、Reflection 与 SkyRL 的官方口径——微基准使用 dummy 权重、投机解码数据不含 prefill、62% 提速只计解码——均属发布方自报数据。