AREXOpen in interactive Feed

AREX Feed Article

Humming 0.1.18 完成 SGLang 集成:LMSYS 与蚂蚁集团团队自测 prefill 较 Marlin 加速 1.07~1.23 倍

November 19, 2026

2026 年 11 月 18 日,LMSYS 官方博客发布《Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving》,宣布 JIT(即时编译)低比特内核库 Humming 的 0.1.18 版本完成 SGLang 集成。博客署名为蚂蚁集团 Venus 与 SCT 团队及 SGLang 团队,致谢部分写明工作由蚂蚁集团 Venus、SCT 团队成员与 SGLang 社区联合完成;官方 X 账号 @lmsysorg 于北京时间 11 月 19 日上午发布了内容相同的公告帖。

这批结果的核心数字全部出自作者自测基准:在 DeepSeek-V4.1-Flash-1017(Hugging Face 权重,含模型自带的 DSpark 投机解码 draft)上以 8×H20-3e GPU、TP8/EP1 部署,MXFP4(4-bit 浮点权重格式)权重加 BF16 激活的相同精度下,Humming 相对 Marlin 在 4K~1016K 输入取得 1.07~1.23 倍 prefill(预填充)TTFT(首 token 时间)加速;在 Humming 内把专家激活换成 FP8 E4M3 后,输出吞吐在并发 1/32/64 下再提升 16.79%~34.41%。博客与推文都注明这些为自测结果;端到端数据只覆盖 DeepSeek-V4.1-Flash-1017 一个模型。

把量化表示与执行策略拆开的 JIT 内核库

按博客的描述,Humming 是一个面向量化 dense(稠密)与 MoE(混合专家)推理的轻量内核库,把「数据怎么存」和「算子怎么算」分开。推文对覆盖面的概括是:为「从 Turing 到 Blackwell 的 NVIDIA GPU」上的 dense 与 MoE 层 JIT 编译低比特内核。配置分三层:LayerConfig 描述形状、数值格式、量化方式与存储布局;ComputeConfig 描述 dense、indexed 或 grouped 执行与累加语义;TuningConfig 选择分块、数据搬运、流水线与调度。权重在模型加载时完成 padding、转置、交错排列与 scale 重排,进入统一 schema,不占用请求热路径;推理时由统一的 process_input 接口完成激活计算、Hadamard 变换、布局处理与量化(含静态张量 scale 与动态 token/分组 scale),随后按设备与形状 JIT 编译出对应 GEMM(通用矩阵乘)并缓存编译产物,避免为每种格式和每个服务形状预编译。

v0.1.18 的发布说明列出了 MoE 启发式与 stream-k 优化、MoE 权重逐出阈值调整、process_input 对打包 8-bit 输入 scale 的清零修复等条目,与博客「0.1.18 细化了 MoE 调度与权重逐出」的说法对应。

Blackwell 侧,博客说明 Humming 通过 BF16 UMMA 与符合条件的 FP8、FP4、INT8 UMMA 路径扩展支持:支持的 SM10x 配置走 UMMA,支持的 SM12x block-scale 配置走 MXMMA;INT8 UMMA 并非在每款 Blackwell 设备上都可用,scale 布局也必须与所选指令路径匹配。但这篇博客的全部实测都在 Hopper H20-3e 上完成,Blackwell 部分是支持范围的扩展,文中没有随附端到端数字。

六档输入长度:prefill TTFT 对照与解码吞吐

基准环境为 CUDA 13.0、Humming 0.1.18、FlashInfer 0.7.2,SGLang 侧使用包含拟议集成改动的 fork 源码 f644444。部署参数为 TP8(8 卡张量并行)、prefill 侧 CP8 interleave(上下文并行)、16K token 预填充分块、DSpark block size 5;target 与 draft 使用同一 MoE 后端,dense 层保留 checkpoint(模型权重文件)的原生 FP8 路径,专家权重用 MXFP4。博客把 BF16 专家激活记作 A16,FP8 E4M3 专家激活记作 AFP8。下表 TTFT 单位为秒,取并发 1 下预热并清空前缀缓存后三次请求的中位数(K 表示 1,024 个 token):

输入 tokensMarlin A16(EP1)Humming A16(EP1)Humming AFP8(EP1)Humming AFP8(EP8)FlashInfer AFP8(EP8)
4K0.3380.2740.2150.2410.219
64K4.5333.7623.0263.3813.306
128K10.0338.4957.0247.6937.565
256K23.84320.81317.89419.35819.155
512K63.44357.39851.55454.49654.109
1016K188.064175.969164.350170.134169.391

按表内数值,A16 同精度(EP1,专家并行度为 1)对比的加速比从 1016K 处的 1.07 倍到 4K 处的 1.23 倍,换算即 TTFT 下降约 7%~19%;FP8 专家激活把 prefill 进一步压短,1016K 输入下从 A16 的 175.969 秒降到 164.350 秒。

解码侧用 ShareGPT 首轮内容截断或重复到 4K 输入、生成 1,024 个输出 token、关闭前缀缓存,吞吐为三次运行均值。A16 精度下 Humming 对 Marlin 的输出吞吐在并发 1 低 2.89%,到并发 64 高 7.65%;在 Humming 内部把专家激活从 BF16 换成 FP8 后,吞吐提升 16.79%~34.41%,并发 1/32/64 分别为 367.1、2,314.1、2,865.8 tokens/s。

EP8(专家并行度为 8)列的对比对象是 FlashInfer 0.7.2:FlashInfer 在全部六个输入长度的中位 TTFT 都更低,差距随输入加长而收窄;吞吐上 Humming AFP8 在并发 1 高 4.25%、并发 32 高 0.34%、并发 64 低 1.51%。

FP8 激活路径:权重不离开 4 bit,FP8 操作数在寄存器里现算

博客用整节解释的 Hopper 路径把 MXFP4 权重与 per-token FP8 激活配对。推文的概括是:「在 Hopper 上,它的 FP8 路径让专家权重保持 4 bit 打包,在 Tensor Core 相乘之前才在寄存器中重建 FP8 操作数。」具体分三步:加载时把每个 UE8M0(8 位指数 scale 格式)分组 scale 分解为每专家、每子层一个基础 scale 加残差指数码;FP4 半字节与残差指数在寄存器里拼成 FP8 E4M3 操作数,放入 WGMMA(Hopper 矩阵乘指令)的 A 操作数,不在内存中物化 8-bit 权重张量;WGMMA 以 FP32 累加,epilogue(计算收尾阶段)再补乘激活 scale 与基础 scale。博客给出的数值例子:分组 scale 为 [1, 2, 4, 8] 时基础 scale 取 1,scale 为 4 的组里 FP4 值 1.5 重建为 E4M3 操作数 0.1875,再乘残差因子 32 还原为 6。

这条路径在不做调整的前提下支持 11 的 E4M3 指数跨度;超出的组会抬高最小 scale,并把受影响权重除以 2 的幂后舍回 FP4,可能带来舍入误差或下溢。作者在 TP8/EP1 下的加载期检查显示:有效 target 组需要 scale 范围调整的比例为 0%,有效 draft 组为 11.27%,主要由 padding 影响 draft 的范围选择所致;该问题已在上游 Humming PR #193 修复,修复要等后续 Humming 依赖升级才进入 SGLang。另外,AFP8 实测采用动态 per-token E4M3 scale(group_size=0),博客说明这些数字不覆盖 block-scale 路径;而 1.07~1.23 倍的加速全部来自 A16 配置,与这条 FP8 融合路径无关。

端到端收益为何收窄:1016K 输入下其余内核占约 151 秒

内核拆解说明了加速的来源和边界。A16 同精度下,Humming 的路由专家 GEMM 累计 kernel 时间在 4K、128K、1016K 三个长度比 Marlin 少 31.6%~32.4%;换成 AFP8 后,这部分 GEMM 时间再降约 47.6%。但端到端没有同比例兑现:1016K 输入下,三种配置的其余 GPU kernel(attention、dense/共享专家、路由、激活、通信等)都在 151 秒上下,图中三次分别为 150.9、150.8、151.2 秒,在这一档与所选后端无关;同档的路由专家 GEMM 时间是 37.4、25.3、13.2 秒。博客据此解释,为什么 GEMM 时间的大幅下降,换来的端到端 prefill 加速更小。

解码侧的对应数字:并发 1 的 A16 trace 里,Humming 的 target 路由 GEMM 每次验证耗时 3.77 毫秒,对照组 Marlin 为 4.21 毫秒;draft GEMM 则是 0.195 毫秒对 0.181 毫秒,反而略慢。

质量与接受率:GSM8K 最低 96.82%,RULER 检索 200/200

质量数据随基准一并公布:EP1 下全部 1,319 题、8 示例(8-shot)提示的 GSM8K,Marlin A16 得 97.12%,Humming A16 得 97.04%,Humming AFP8 得 96.82%。RULER v1 的 niah_multikey_2 检索检查中,Marlin A16 与 Humming AFP8 在标称 32K 与 128K 各 200 例全部命中(200/200)。DSpark 投机解码的平均每步验证产出约在 5.09~5.22 个 token 之间,例如并发 1 下 Marlin A16 为 5.139、Humming AFP8 为 5.142。

SGLang PR #48524 的测试说明补充了一个限制:FP8 在并发 1 的接受率从 5.018 变为 5.142,而匹配对数窗口的每步验证周期只改善 0.37%,作者据此说明并发 1 的吞吐变化并非纯粹的融合加速。博客同时给出总体限定:这些结果只描述被测配置,不建立普遍的精度等价性,也没有验证 1016K 性能点上的质量。

集成边界:适配 commit 已进 SGLang,统一激活接口仍在评审

分工上,SGLang 保留专家路由、dispatch、token 对齐、输出规约与 token 顺序,Humming 提供配套的输入处理与 GEMM 执行;选用 Humming 不会自动把 A16 激活转成 FP8,静态量化仍需标定过的 scale。最初的集成经 SGLang PR #23754 进入主干,commit ca939407(即 PR #46018 的合并)把依赖中的 humming-kernels 从 0.1.12 升到 0.1.18,并加入 Humming 缓存与临时目录配置。

PR #48524 拟把门控 MoE 激活统一接到 process_input:调用方以可选的 activation_type 与 activation_impl 字段声明 split 或 interleaved 的 gate/up 输入,并提供 CUDA 激活表达式,内置 SiLU、clamped SiLU、erf GELU 与 SiTU 共用这条路径;按博客的说法,它将覆盖 GLM-5.2/5.3 与 Kimi-K2.x/K3 的门控激活路径,Kimi-K3 部分复用了仍处开放状态的 PR #33884 的原生 MXFP4 加载桥。截至 11 月 19 日抓取,该 PR 页面仍显示必需 CI 检查未通过、无法合并。EP 侧另有一个拟议修复 PR #49873,让标准 EP dispatch 在 GEMM 调优时完整计入复制的共享专家,Humming EP8 的测量包含了这个修复。

使用上,安装对应 CUDA 大版本的 extra(pip install "humming-kernels[cu13]==0.1.18",CUDA 12 换 cu12);--moe-runner-backend humming 在 checkpoint 原生量化路径支持时选择 Humming 执行专家层,--quantization humming 启用模型级量化适配器;通过 SGLANG_HUMMING_INPUT_QUANT_CONFIG 显式指定激活精度,后端 flag 本身不会请求 FP8。Humming 也支持加载时对未量化的 FP16/BF16 checkpoint 在线量化(例如 float4e2m1 权重、32 元素分组、UE8M0 scale),已量化的 checkpoint 需显式 force_requant;投机解码需另选 --speculative-moe-runner-backend humming。博客注明 0.1.19 未在这批结果中验证。

覆盖面方面,Humming 目前为 DeepSeek-V4-Flash、DeepSeek-V4-Pro(含 V4-Pro-0813)与 DeepSeek-V4.1-Flash 提供原生 MXFP4 专家执行;测试用的 DeepSeek-V4.1-Flash-1017 是 DeepSeek-V4.1-Flash 的小幅更新版,Hugging Face 页面标注 763B 参数、2026 年 10 月 17 日发布。兼容的专家并行部署还可选用 DeepEP FP8 dispatch(PR #31429),把量化激活及其 scale 带进 Humming。

博客列出的后续方向包括 Humming 侧的 autotune、Rubin Locality Domains 与平头哥(T-Head)的 Zhenwu M890 等更多硬件支持,SGLang 侧的 B300 部署与量化 DeepEP dispatch;致谢还提到 NVIDIA 团队已把 Humming 的 MXFP4×FP8 scale 融合方案适配进 FlashInfer(PR #3738)。截至北京时间 11 月 19 日上午抓取,公告帖发布约一小时获 10 个赞、637 次浏览。

SGLang 侧还有两件事没有落地:覆盖 GLM-5.2/5.3 与 Kimi-K2.x/K3 门控激活路径的 PR #48524 要等必需 CI 通过后合并,修复 draft 组 scale 范围问题的 Humming PR #193 要随下一次 Humming 依赖升级才进入 SGLang。集成进度集中在追踪 issue #46579。

参考链接

  • LMSYS 博客:Humming in SGLang: Flexible Low-Bit Kernels for Efficient MoE Serving
  • @lmsysorg 官方公告帖(X,2026-11-18T23:38:28Z)
  • Hugging Face:deepseek-ai/DeepSeek-V4.1-Flash-1017
  • GitHub:vllm-project/humming v0.1.18 release
  • SGLang commit ca939407:适配 Humming 0.1.18(PR #46018)
  • SGLang PR #48524:Unify MoE input processing