AREX Feed Article
Google Gemma 官宣：vLLM 优化让 gemma-4-E2B-it 在 A100 上提速 2.85 倍，改动分布在 8 个 PR
北京时间 10 月 27 日凌晨（10 月 26 日 16:35 UTC），Google Gemma 的官方 X 账号 @googlegemma ：经 vLLM 优化，gemma-4-E2B-it 在 A100 上的吞吐从约 37,900 tokens/sec 提升到 108,000+ tokens/sec，官方口径为 2.85 倍加速。帖文把这次提速归到 "Gemini 4 Argon" 名下，原话是 Argon "enabled"（使能）了这次加速，并列出三项要点：100% token parity（token 输出完全一致）、零质量下降、耗时「数天而非数月」。
帖文同时给出改动清单的入口：8 个 PR；@googlegemma 随后，致谢 @lucianommartins「实现这些优化」。截至 10 月 27 日检索时，主帖浏览约 2.7 万次、点赞超过 600。2.85 倍、吞吐数字与质量结论目前只有官方帖文这一个出处；单看数字本身，108,000 ÷ 37,900 ≈ 2.85，口径自洽。
三项要点都写在帖文里，测试条件没有随帖公布
三项要点中，「100% token parity」指优化前后模型对相同输入逐 token 输出一致；「done in days, not months」指整个优化在几天内完成。三项都以勾选项形式出现在帖文里，帖文本身没有附测试配置、数据集或验证方法，也没有说明 37,900 与 108,000+ 对应的批量大小，以及测的是 prefill（预填充）还是 decode（解码）。
@googlegemma 是商业认证账号，写明这是 Google's Gemma 的官方账号，定位为 Google DeepMind 推出、基于 Gemini 技术构建的轻量级开源模型系列。按 Google 开发者文档的，Gemma 4 于 2026 年 3 月 31 日发布，提供 E2B、E4B、31B 和 26B A4B 四种规格，此次加速的对象 gemma-4-E2B-it 对应其中的 E2B 规格。
8 个 PR 集中在 10 月 6 日至 8 日提交，目前只有一个进入主干
帖文里的短链指向 vLLM 仓库的一个 ：作者为 lucianommartins、创建时间在 2026 年 10 月 5 日之后、10 日之前的全部 PR。检索结果目前列出 10 个 PR，其中 8 个带 [Perf]（性能）标签，与帖文所说的 8 个 PR 对得上；另外 2 个是 EmbeddingGemma 2 相关的 [Model] PR。8 个性能 PR 集中在 10 月 6 日至 8 日提交，大多围绕 Gemma 4 系列：
- ：为 QKV norm/RoPE、前/后 FFN norm、PLE 和 MoE 路由添加融合 Triton kernel（GPU 核函数）；
- #60689：融合 MTP 投机解码层与 sparse gather-GEMV LM head；
- #60445：启用并优化 KV 共享的快速 prefill 与解码元数据；
- #60317：针对 head_dim=512 与滑动窗口解码优化 Triton 统一注意力；
- #60504：为 Gemma 4 26B-A4B（E=128）添加调优后的 Triton FusedMoE 配置；
- #60663：DiffusionGemma 的融合 Triton kernel 与零同步多请求批处理；
- #60478 和 #60643：两条多模态改动，前者批处理 Gemma 4 视觉池化器并融合视觉/音频 RMSNorm 与 2D RoPE，后者融合 Gemma4Unified 2D 位置编码并批量处理图像/视频嵌入器。
截至发稿检索，8 个性能 PR 中只有 #60643 一个在 10 月 22 日合并进 vLLM 主干，其余 7 个仍为 open（未合并）状态；直接从主干安装的用户，眼下拿到的只是其中一部分改动。lucianommartins 在 vLLM 仓库页面上的署名旁标注着 Collaborator（合作者）身份；自述为「面向 LLM 的高吞吐、内存高效推理与服务引擎」，目前约 9.6 万 star、2.4 万 fork。用户 Pratik Gandhi（@pratikg）在里说：「8 个 PR 全部公开，喜欢这样。」
单个 PR 的实测：E2B 预填充最高 1.90 倍，解码 1.06 倍
以 #60674 为例，这份 PR 把原先每个注意力块分开启动的 RMSNorm、RoPE 等算子合并为单个 Triton kernel，接入 Gemma 4 文本模型主路径，并附带单元测试与数值一致性测试。按 PR 描述，在 NVIDIA A100-SXM4-80GB 上，gemma-4-E2B-it 的预填充吞吐最高提升 1.90 倍（BS=4、1k prefill 条件下从 35,480.8 tok/s 到 67,488.9 tok/s），解码吞吐提升 1.06 倍；gemma-4-E4B-it 预填充最高 1.50 倍（34,290.8 tok/s 对 22,787.7 tok/s）；12B、26B-A4B、31B 三个规格的提升在 1.04～1.05 倍之间。组件级微基准覆盖 113 个用例，自述全部快于基线，加速比 1.06～4.98 倍，零回归。
帖文里的 2.85 倍是 8 个 PR 叠加后的总体数字，官方没有公布对应的测试条件；PR 自述的数字来自各自的测试设置，两组数字不能直接换算。
Parity 的口径之争：M=1 全部一致，M=512 只剩四成多
三项要点里，「100% token parity」引来了多条具体的技术追问。PR #60674 的验证分两层：端到端 serving（推理服务）结果标注「100.0% token match」；组件级微基准则写明「所有配置余弦相似度 ≥ 0.99999，65.0%～100.0% 在 1 ULP 之内」（ULP，unit in the last place，浮点数末位单位）。表格里，批量维度 M=1 时输出逐位一致，M=512 时完全一致的比例降到约 44.5%～46.2%，约 78%～79.6% 落在 1 ULP 内。
Michał Piszczek（@cdiamond）在里引用了同一组数字：「在 vLLM fused QKV kernel PR 中，输出在 M=1 时逐位一致，但 M=512 时只有 44%～46% 完全一致，约 80% 在 1 ULP 内」，随后追问：100% token parity 是在 batch 1 下验证的，还是在 108k tok/s 的负载下？Daniel Priscu（@daniel_priscu），2.85 倍配 100% parity「值得在长上下文上核查，短 prompt 会掩盖很多东西」。
Argon 的角色只有一句 "enabled"，其余靠评论区补完
帖文对 Gemini 4 Argon 的全部说明就是 "enabled" 一个动词。Google 的显示，gemini-4-argon 是 Google 的旗舰推理模型，面向复杂软件工程、深度数学与科学问题求解、自主多步 agent，输出上限在 long decode 模式下可达约 105 万 token；Google 博客在 9 月 30 日发布了它的。帖文没有解释 Argon 在这次优化里具体承担了什么。Aleksandar Janca（@datachad）的则把这次改动理解为由 agent（智能体）编写 kernel：「让 agent 写 kernel 改动，最终取决于比对输出的那个检查做得有多好。」可以确认的只有两件事：@googlegemma 把提速归功于 Argon，把实现归功于 @lucianommartins 的 8 个 PR。
其余 7 个性能 PR 还在 vLLM 的 open 列表里，其中一个带 needs-rebase（需要变基）标签；对帖文串里关于 parity 验证口径的追问，官方至今没有回应。这 2.85 倍什么时候能被普通用户在 vLLM 主干上完整复现，取决于剩余 PR 能否合并，以及官方是否公布 100% token parity 在批量负载与长上下文下的验证方法。