LightSeek 公告 TokenSpeed 服务 Qwen3.8-Flash-Next 达单用户 685.9 tokens/s，Qwen 官方致意

北京时间 10 月 14 日上午，LightSeek Foundation 官方账号发布推文，宣布其开源 LLM（大语言模型）推理引擎 TokenSpeed 在 4 张 NVIDIA GB300 上以 NVFP4（NVIDIA 的 4-bit 量化格式）量化 serving（推理服务）阿里 Qwen3.8-Flash-Next，batch 1（单请求）下每用户输出速率达 685.9 tokens/s。数字出自配套（页面日期 2026 年 10 月 13 日）与；推文发布约一小时后，Qwen 官方账号公开致意。所有成绩为 LightSeek 自测，基准方法有文档记录。

这一读数对应的场景是长上下文 agentic（智能体）负载：SWE-Smith 对话基准下，首轮输入配置 50,000 tokens。并发加大后，单用户速率下降、单 GPU 聚合吞吐上升——博客把它作为一条取舍曲线公布，而不是单一纪录。

Qwen 官方的公开致意与此前背书

公告推文发布于 2026-10-14 02:41 UTC（北京时间 10 时 41 分），写道“每用户 685 输出 tokens/s”，运行于 4× NVIDIA GB300 与 NVFP4，并附上技术博客与仓库链接。约 12 分钟后，LightSeek 在：“感谢 @NVIDIAAI 协助审阅博客。”

03:43 UTC（北京时间 11 时 43 分），Qwen 官方账号单独发帖致意（译文）：“恭喜 @lightseekorg 拿出亮眼的 TokenSpeed 成绩！很高兴看到 Qwen3.8-Flash-Next 在 Nvidia GPU 上达到每用户 685 输出 tokens/s，期待社区解锁 Qwen 更多的推理潜力。”截至检索时，该帖获 352 个点赞、19 次转发。

两个账号的体量并不对等：@lightseekorg 于 2025 年 10 月 19 日创建，持有 Business（企业）认证，粉丝 2,895，自述是 TokenSpeed、TorchSpec 与 SMG 的创建者；公告推文本身获 36 个点赞、约 2.1 万次浏览。Qwen 官方账号同为 Business 认证，粉丝约 29.7 万。这不是它第一次为该引擎背书：5 月 27 日，它 Qwen3.5-397B-A17B 在 TokenSpeed 上 580 tps 的 agentic 负载纪录；8 月 27 日，又 TokenSpeed 对 Qwen3.8 新架构的 day-0（发布当日即适配）支持。

SWE-Smith 与 AgentX：基准设置、取舍曲线与测量口径

博客写明的是：4 张 GB300，冻结的 SWE-Smith 对话集，每段 10～15 轮，首轮配置 50,000 输入 tokens、其后每轮新增 800 tokens，每轮输出上限 500 tokens。serving 配置为 NVFP4 权重，checkpoint（模型权重文件）来自；BF16 激活与 KV cache（键值缓存），TP4/EP4（张量并行 4 路、专家并行 4 路），FlashInfer TensorRT LLM 的 MoE（mixture-of-experts，混合专家）内核，3 步 MTP（multi-token prediction，多 token 预测）草稿与 4 个验证 tokens。

图上标注的六个实测点连成这条曲线：batch 1 为每用户 685.9 tokens/s、单 GPU 7,321.5 tokens/min；batch 2 为 570.6 与 11,548.5，batch 4 为 444.7 与 17,206.5，batch 8 为 273.2 与 20,890.5，batch 16 为 158.8 与 24,904.5，batch 32 收在每用户 95.7 tokens/s、单 GPU 29,005.5 tokens/min。MTP 接受长度几乎不随并发变化：batch 1 为 3.231 tokens/次，其余 5 档并发平均 3.234。

测量口径同样写在博客里：客户端用 EvalScope（评测框架）记录 TTFT（time to first token，首 token 延迟）与 TPOT（time per output token，每输出 token 耗时），TPOT 按「(请求延迟 − TTFT) / (输出 tokens − 1)」计算，每用户速率由 1000 除以各成功轮次 TPOT 的算术平均（毫秒）折算，每个成功轮次等权——这一客户端读数包含调度停顿与流式开销。

另一组 AgentX 基准测聚合吞吐与交互性：并发 1 到 32，聚合输出吞吐从 202.74 升到 1,177.20 tokens/s，P90 交互性（每请求相邻 token 间隔 P90 值的倒数，不含 TTFT）从 374.64 降到 33.95 tokens/s/user；每档并发各测 60 分钟，MTP 接受长度按 2.32（含奖励 token）的合成目标配置。

稀疏选择、CuTe DSL 内核与 MTP 复用：四类优化

博客把优化归为四类：删掉不再需要的工作、在有效生命周期内复用计算、融合相邻算子、用 PDL（programmatic dependent launch，程序化依赖启动）重叠独立准备。落到 Qwen3.8-Flash-Next 上，主要改动包括：

QSA（Qwen Sparse Attention，Qwen 稀疏注意力）选择管线：tokens 按 4 个一组划成微块并计算压缩索引键，每个 query 至多选择 512 个完整块（覆盖至多 2,048 个位置），当前未满块不经选择直接保留，选择缓冲宽度固定为 2,051；块分数写入 FP32 缓冲后，由持久 radix 选择器完成 top-k（选出分数最高的块）。
MTP 验证期的压缩键复用：同一请求最多 4 个 query 共享一次压缩键 tile（分块）加载，评分 tile 从 512 块缩到 128 块，共享内存占用从 132,096 字节降到 36,864 字节；GB300 微基准显示仅评分一步在 batch 1 从 6.61 µs 降到 2.69 µs，batch 32 从 157.90 µs 降到 31.75 µs。
稀疏注意力内核用 CuTe DSL（NVIDIA 的 CuTe 领域专用语言）针对该模型的注意力几何编写，只面向支持的 GB300 配置，处理普通解码与 MTP 验证，支持 BF16 query 与 BF16 或 FP8 E4M3 KV cache。
PDL 让依赖内核提前启动、先做与生产者无关的准备：GDN（Gated DeltaNet）解码加归一化内核链在 batch 16 延迟下降 8.5%，QSA logits 选择加注意力在 batch 1 节省 1.249 µs，Gated Residual 内核链在两档 batch 均约降 6%；博客同时给出反例——batch 4 时 GDN 验证延迟从 7.167 µs 升到 7.250 µs。
PLE（per-layer embedding，逐层嵌入）n-gram 嵌入表 offload 到主机锁定页内存（pinned host memory），经 CUDA 统一虚拟寻址按需 gather：FP8 存储加 TP4 分片下，每 rank（单个并行分片）释放约 12.22 GiB 常驻显存，FP8 PLE 表约占 checkpoint 张量体积的 38.6%。
四分支 Gated Residual 的残差混合器融合为单个 CuTe DSL 内核后，微基准加速 3.65×（32 行）与 3.07×（128 行）——博客注明该加速仅适用于 mixer 基准本身。

博客在结尾提醒：这些优化相互作用，隔离测得的加速不能相乘外推 serving 性能。

被 serving 的模型，与维护引擎的基金会

据 LightSeek 博客，Qwen3.8-Flash-Next 是多模态 MoE 模型、Qwen4 架构的早期预览：主模型 125B 参数、每 token 激活 6B，另有 51B n-gram 嵌入参数与 4B MTP 模块；48 层解码层由 36 层 GDN 与 12 层 QSA 组成，残差流分为四条由门控读写的分支。

NVIDIA 发布的与此一致：该 checkpoint 于 2026 年 8 月 31 日上线 Hugging Face，标注 125B 总参/6B 激活、外加 51B n-gram 与 4B MTP，架构名 Qwen4ExpForConditionalGeneration，原生上下文 262K、可扩展至 1M tokens，兼容 Blackwell B200/B300；NVFP4 量化由 NVIDIA Model Optimizer 完成，MoE 路由专家为 W4A4 NVFP4，注意力层与共享专家保持 BF16。模型卡还给出 FP8 与 NVFP4 的精度对照——GPQA Diamond 分别为 92.0 与 91.5，Terminal-Bench 2.1 为 83.3 与 82.9，其余各项基准互有涨落——并显示该 checkpoint 近一个月下载约 37.9 万次。

时间线上，TokenSpeed 对该模型的支持早于这轮成绩：8 月 27 日 Qwen 官方其 day-0 支持时，称从 GDN + QSA 到 N-gram 嵌入（FP8）的新架构已全覆盖；NVIDIA 的 NVFP4 checkpoint 四天后上线。 TokenSpeed 由非营利 LightSeek Foundation 而非商业公司支持，定位是为 agentic 负载提供 TensorRT-LLM 级性能与 vLLM 级易用性；2026 年 8 月 26 日，PyTorch Ecosystem Working Group 接纳 TokenSpeed 进入 PyTorch Ecosystem Landscape，并特别提到它把控制面（C++ 有限状态机）与执行面（Python）分离的架构。

复现路径与边界：脚本公开，读数尚待独立检验

博客把方法写到可复算的程度：EvalScope 测量口径、每轮 token 配置、微基准的回放次数都写明；仓库提供 agentic_bench.sh，在装有 TokenSpeed 的 4× GB300 机器上运行，即可测 1/2/4/8/16/32 六档并发并输出 summary.csv。但截至发稿，这些读数尚无第三方独立复现，基准方法也未经独立审计；硬件门槛同样存在：GB300 属于多数用户不具备的数据中心硬件，CuTe DSL 稀疏注意力内核只面向支持的 GB300 配置，NVFP4 checkpoint 的兼容列表是 B200/B300。

公告发布后的可见回复也集中在这类问题上：有人 RTX 5090 等消费级 GPU 能否运行、会有多快，有人能否支持 DGX Spark，也有人补测含 TTFT 的端到端延迟，因为编码智能体每次工具调用后都要等这一段。

公告突出的读数取自 batch 1，不是并发 serving 的普遍速率；单 GPU 吞吐在 batch 32 达到实测最高。博客以“隔离加速不能相乘”收尾，而原帖下方悬而未决的问题仍然具体：独立复现何时出现，以及这套成绩在 GB300 之外的硬件上能到多少。

参考链接

Qwen 官方的公开致意与此前背书

SWE-Smith 与 AgentX：基准设置、取舍曲线与测量口径

稀疏选择、CuTe DSL 内核与 MTP 复用：四类优化

QSA（Qwen Sparse Attention，Qwen 稀疏注意力）选择管线：tokens 按 4 个一组划成微块并计算压缩索引键，每个 query 至多选择 512 个完整块（覆盖至多 2,048 个位置），当前未满块不经选择直接保留，选择缓冲宽度固定为 2,051；块分数写入 FP32 缓冲后，由持久 radix 选择器完成 top-k（选出分数最高的块）。
MTP 验证期的压缩键复用：同一请求最多 4 个 query 共享一次压缩键 tile（分块）加载，评分 tile 从 512 块缩到 128 块，共享内存占用从 132,096 字节降到 36,864 字节；GB300 微基准显示仅评分一步在 batch 1 从 6.61 µs 降到 2.69 µs，batch 32 从 157.90 µs 降到 31.75 µs。
稀疏注意力内核用 CuTe DSL（NVIDIA 的 CuTe 领域专用语言）针对该模型的注意力几何编写，只面向支持的 GB300 配置，处理普通解码与 MTP 验证，支持 BF16 query 与 BF16 或 FP8 E4M3 KV cache。
PDL 让依赖内核提前启动、先做与生产者无关的准备：GDN（Gated DeltaNet）解码加归一化内核链在 batch 16 延迟下降 8.5%，QSA logits 选择加注意力在 batch 1 节省 1.249 µs，Gated Residual 内核链在两档 batch 均约降 6%；博客同时给出反例——batch 4 时 GDN 验证延迟从 7.167 µs 升到 7.250 µs。
PLE（per-layer embedding，逐层嵌入）n-gram 嵌入表 offload 到主机锁定页内存（pinned host memory），经 CUDA 统一虚拟寻址按需 gather：FP8 存储加 TP4 分片下，每 rank（单个并行分片）释放约 12.22 GiB 常驻显存，FP8 PLE 表约占 checkpoint 张量体积的 38.6%。
四分支 Gated Residual 的残差混合器融合为单个 CuTe DSL 内核后，微基准加速 3.65×（32 行）与 3.07×（128 行）——博客注明该加速仅适用于 mixer 基准本身。

博客在结尾提醒：这些优化相互作用，隔离测得的加速不能相乘外推 serving 性能。