vLLM 官方致谢 SemiAnalysis 的 TPU 分析文章，并归功 Inferact 与 Google Cloud

北京时间 11 月 6 日凌晨 3 时 30 分（2026 年 11 月 5 日 19:30 UTC），vLLM 项目官方 X 账号 @vllm_project 发帖，感谢研究机构 SemiAnalysis 撰文介绍 vLLM 生态在 TPU 上的工作，特别点名 Kimi K3 megakernel 与 vLLM TorchTPU，称两者驱动了 GLM-5.2、Qwen3.5 397B 与 Kimi K3 三款模型的 AgentX 成绩，并「向 @inferact 和 @googlecloud 致意，感谢它们推动 vLLM 在 TPU 上的性能」（）。

推文本身没有给出任何吞吐数字或工程细节。它说「下方这篇 @SemiAnalysis_ 文章值得一读」，所指的文章与《The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference》吻合——该文于同日凌晨 3 时（UTC 19:03）上线，比致谢帖早约 26 分钟，三款模型在 TPU v7 上的全部数字都出自这篇文章（）。就在致谢帖发出前半小时，同一个账号还在庆祝另一件事：在 GitHub 的 Octoverse 报告里，vLLM 在「社区参与度最高的开源仓库」中排第二，按贡献者增速排第八（）。

图：Inferact 公布的 Kimi K3 在 InferenceX 上的吞吐–交互性前沿（截至 2026 年 10 月 19 日），纵轴为每 1 美元总拥有成本（TCO）产出的 token 总量，横轴为 P90（第 90 百分位）交互性。每美元 token 数采用 InferenceX 外部 TCO 口径：TPU v7 每芯片小时 1.21 美元、GB200 每 GPU 小时 1.86 美元。来源：Inferact（原始数据：InferenceX by SemiAnalysis，Apache 2.0）。

一条致谢推文，指向一份四模型成绩单

SemiAnalysis 文章标题把 TPU v7 的代号 Ironwood 嵌进了「铁王座」（Iron Throne）的拼写。正文的核心是它自称的首批「长上下文、多轮、真实 agentic（代理式）负载」在 TPU v7 上的正式基准成绩：四款模型中，GLM-5.2（FP8，8 位浮点精度）、Qwen3.5 397B（FP8）与 Kimi K3（MXFP4 权重）走 vLLM 路线，Meta 最新的 816B 参数开源模型 Muse Spark Open 走 SGLang-TorchTPU 路线、由 RadixArk 提交；文章的结论是 TPU v7 在这些负载上「对外部客户而言每美元性能具有竞争力，或拿出了最好的现有成绩」。推文点名的三款，恰好是四款中走 vLLM 的三款。

这不是 SemiAnalysis 第一次给 TPU 跑分。它在 9 月发布过第一批第三方 TPU v7 单轮 InferenceX 成绩，称在 Qwen 3.5 397B 的同精度 FP8 对比中，TPU v7 每美元性能最高比 B200 与 B300 好 50%，并提到许多 TPU 客户当时向 Google 要的正是 AgentX 成绩（）。

图：SemiAnalysis 文章《The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference》的头图。来源：SemiAnalysis。

三款模型的 TPU v7 数字：便宜、反超与被反超

三款模型的数字走向不同：GLM-5.2 是成本优势，Qwen3.5 是 TPU 对 FP4（4 位浮点）GPU 的反超，Kimi K3 则先领先、后被 NVIDIA 刷新反超。以下速度数字的单位均为 tok/s/user（每用户每秒 token 数）。

文章把 GLM-5.2/5.3 描述为 744B 参数的 MoE（混合专家）模型，每 token 约 39B 激活，靠 DeepSeek Sparse Attention（DSA）支持 100 万 token 上下文：一个轻量 indexer 给历史 token 打分，每个 query 只对选中的 2,048 个 token 做全注意力。FP8 精度下，文章称 TPU v7 是跑 GLM-5.2 AgentX 最便宜的选择：60～300 tok/s/user 区间内，每美元 token 数达到 B200、B300 与 MI355X 的 1.2～2.7 倍，150 tok/s/user 处是 H200 的 4.4 倍。FP4 GPU 在多数速度档仍然领先——100 tok/s/user 处，GB300 与 GB200 的 FP4 达到 TPU v7 的 3.6 倍和 3.5 倍；TPU v7 没有原生 FP4，文章预计带 FP4 的 TPU v8 要等到 2027 年 Q1。文章还注明，GLM-5.3 没有做原生 FP4 QAT（量化感知训练），FP4 相比 FP8 有轻微精度损失。

文章称，两周前 Qwen3.5 397B 成为 Google 第一个提交 AgentX 的模型，TPU v7 FP8 的每美元性能达到 FP4 GB300 NVL72 的 1.67 倍；配开源 Kubernetes 路由器 llm-d 把 prefill（预填充）与 decode（解码）拆到不同主机后，FP8 下 TPU v7 在每个交互性档位都高于 GB300 FP8——从高吞吐端的 2 倍以上到超快端的每用户 1000 tok/s 以上，最快点的 p90（第 90 百分位）首 token 延迟 8.6 秒，好于 GB300 FP4 最快点的 11.1 秒。文章同时交代了两点：这种按轮次路由让 TPU 的端到端成绩仍逊于 GB300 TRTLLM FP4，但仍明显好于 FP8 与 FP4 的 GB300 NVL72 SGLang；每组结果用 24～32 颗芯片，每台主机 4 颗。

文章记录，Kimi K3 的 TPU 成绩在 10 月 17 日首发：50～200 tok/s/user 区间达到 GB300 每美元 token 数的 0.77～0.91 倍，单用户 391 tok/s/user，是 GB300（251 tok/s/user）的 1.6 倍；按 Google 内部成本口径，则在 100 与 200 tok/s/user 两点反超 GB300。反超也发生在这款模型上：NVIDIA 此后刷新四次，GB300 FP4 已领先 TPU v7 1.5～2.6 倍；TPU v7 对 GB200、B200 与 B300 仍保持 1.15～2.5 倍，而 NVIDIA 的 Rubin（VR200）达到 TPU v7 的 4.3～5.6 倍——文章强调，这些 Rubin 成绩仍是 preview submission（预览提交），未经其独立复现。

Megakernel 怎么接进 vLLM：只换 forward，不动调度

按文章的解释，常规 decode 一步要启动成百上千个 kernel，芯片在间隙空转；megakernel 把多层运算放进一个长期运行的内核，在计算当前层权重的同时预取下一层。Inferact 与 Google 一起构建了 Kimi K3 的 TPU megakernel 并共同提交成绩；接入方式是把它做成 vLLM 里的 model runner（模型运行器），只替换模型的 forward（前向计算），vLLM 的调度、前缀缓存和 KV（键值缓存）传输照常工作，整套栈开源在 vLLM TorchTPU（）。

Inferact 的技术页面写得更具体：后端用 --load-format megakernel 选择，MegakernelModelRunner 与标准 TPUModelRunner 并列，异步调度、前缀缓存、KV 传输和 API 服务器全部复用。部署上，Inferact 把 prefill 和 decode 放在两个独立的 TPU v7 分片（slice）上，由 Raiden（KV 缓存传输连接器）在两者之间搬运 KV cache；其结果表显示并发 1 时 p50（中位数）交互性 408 tok/s/user，复现只需一个 Docker 镜像（）。Google 在公告中称，这个为 2.8 万亿参数 Kimi K3 做的 megakernel 把整个 decode 步跑进一个 kernel，在 Ironwood 上向单用户供出超过 700 tok/s；Inferact 随后主导了 vLLM-TorchTPU 栈上 Kimi K3 的首个初步 AgentX 提交（）。

这条路线也不只属于 TPU。SemiAnalysis 称，在 TPU 与 AMD 先后把 megakernel 带进开源推理引擎后一周内，NVIDIA 方面的工程师也快速合并了自己的 megakernel 支持（）；vLLM 官方博客 10 月 16 日记录了 GB300 上的 Kimi K3 专用 decode 路径：16 卡 GB300、DSpark（推测解码）设置下 batch 1（批大小为 1）达 842 tok/s，为原版 vLLM 的 1.73 倍，AgentX 并发 1 的 P90 交互性 403.2 tok/s/user，是早期 8 卡成绩 223.7 的 1.8 倍（）。对 Qwen3.5，Google 向文章描述的三项优化里同样包括 decode megakernel，另两项是经 TPU Sync（Google 开源的 KV 缓存传输库）把 KV cache 和线性注意力状态卸载到主机内存，以及缓存感知路由——Google 称，路由到精确的数据并行 rank 后，decode 缓存命中率从 56% 提到 76%。

AgentX 在测什么：多轮、长上下文、前缀复用与子代理突发

按文章的定义，AgentX 捕捉 agentic 负载的四个要素：多轮——一次会话包含几十到几百次用户/助手交互；长上下文——系统提示、工具定义和大量轮次让上下文快速累积；高前缀复用——对话线性推进，第 n−1 轮的输出拼接进第 n 轮；子代理突发——会话同时拉起多个短生命周期子代理，制造突发性的 KV cache 模式。Google 在公告中把 AgentX 称为 InferenceX 项目中专评「agentic 长上下文与多轮负载」的赛道。

SemiAnalysis 自己的表述更进一步：InferenceX/AgentX 是「行业标准」推理基准，获得从 Microsoft Azure、Oracle 到 Meta 等主要算力买家的支持，vLLM、SGLang、PyTorch、Hugging Face 等社区项目与 OpenAI、MiniMax、ZAI、Qwen、Moonshot Kimi 等实验室也参与其中。文章还说，一些大型云厂商与 AI 实验室把 Qwen3.5 397B 及其架构的多万亿参数放大版当作硬件采购和容量规划的代理模型。Google 的立场写在公告里：「为了提供透明、可复现的性能证明，我们通过社区标准的 SemiAnalysis InferenceX 项目公开跑分。」

归功链路：10 月 20 日的 TorchTPU 发布与生态分工

推文把性能功劳记在两个致谢对象名下，两者在这条链路上各有落点。SemiAnalysis 与 Google 的表述一致：Inferact 由 vLLM 的创造者和维护者创办。10 月 20 日，Google 宣布为 vLLM 和 SGLang 推出 TPU 上的原生 PyTorch 后端：vLLM-TorchTPU 与 Inferact 联合开发，SGLang-TorchTPU 由 RadixArk——SGLang 原作者创办的公司——合作完成；两者都构建在让 PyTorch 原生跑在 TPU 上的 TorchTPU 之上，Google 称已在预览客户的生产环境大规模运行。Inferact CEO 兼联合创始人 Simon Mo 在公告中说：「Inferact 的使命一直是让高性能推理在整个 AI 生态中可及、可靠且具成本效益。我们很高兴能在 TorchTPU 发布之际合作，把对 vLLM 的一流支持带到 TPU 上。」同一公告还宣布为 vLLM 启动社区贡献者 TPU 算力池，向积极贡献 vLLM 引擎的开发者提供免费 TPU 算力。

SemiAnalysis 在文末「Built by the Ecosystem」一节里给出定性：这个成绩来自 vLLM 生态而非 Google 单独，「这样的生态开发此前大多发生在 CUDA 上」。这条今天凌晨发出的致谢，与文章的这一定位互相印证。对比也没有就此定局：文章认为 Rubin 真正该对比的是 TPU v8i，并称 TPU v8i「很快就会进基准」。

参考链接

vLLM 官方账号致谢帖：
vLLM 官方账号 Octoverse 帖：
SemiAnalysis：The Iron(wood) Throne: Google's TPU Stakes Its Claim on Inference：
SemiAnalysis：TPU Inference Externalization Full Steam Ahead（2026 年 9 月）：
Inferact：Inferact releases K3 AgentX results on TPU：
Google Developers Blog：Announcing New vLLM and SGLang Inference Engines on TPU（2026-10-20）：
vLLM TorchTPU 仓库：
vLLM PR #61867：
vLLM 官方博客：Hyper Optimizing Kimi K3 in vLLM（2026-10-16）：_