AREX Feed Article
vLLM 称 AgentX 迎来首个 TPUv7 提交，由 vLLM 提供服务，并致谢 Google TPU、Red Hat AI、Inferact
北京时间 10 月 16 日上午 8 点 48 分，vLLM 官方 X 账号发布帖文称，AgentX 基准出现首个 TPUv7 提交（submission），该提交由 vLLM 提供服务。帖文感谢 Google TPU、Red Hat AI 与 Inferact 的团队「为让它跑起来所做的工作」，并说期待更多模型经由 AgentX 落到 TPU 上。（）
这条帖文没有点名提交使用的模型，也没有给出吞吐、延迟或成本数字。就在它发出前约 18 分钟，运营 AgentX 的 SemiAnalysis 发布了另一组帖文，称 Google 提交了其首个 TPUv7 Agentic 基准结果：按「非 Google 的外部工作负载成本」口径，这次提交的每美元性能是 GB300 NVL72 FP4 的 1.42 倍。（）
Google 的提交与 Qwen 3.5 397B-A17B
提交方与模型都来自 SemiAnalysis：其帖文串写明提交来自 Google；10 月 15 日的帖文串还把仪表盘链接指向 InferenceX 的 Qwen3.5 页面，该页面上与 TPU7x（即 Ironwood）配对的 AgentX 对照条目覆盖 B200、B300、GB200 NVL72、GB300 NVL72、MI355X 等硬件，模型一栏都是 Qwen 3.5 397B-A17B。（、、）
「首个」的说法由 vLLM 与 SemiAnalysis 两方给出，一方是这次运行所用推理引擎的维护方，一方是运营 AgentX 的基准方。
SemiAnalysis 的四组对比与另一版数字
SemiAnalysis 在 10 月 16 日的帖文串里给出了四组对比：对 GB300 NVL72 FP4 为 1.42 倍；对 AMD MI355X 最高 2.5 倍；在中高交互性区间，对 GB200 NVL72 FP4 最高 3.16 倍，两侧都开启 MTP（多 token 预测），且 GB200 用的是预填充/解码分离部署，而 TPUv7 只用聚合式部署；在低交互性区间，GB200 FP4 仍保有约 1.2 倍的优势。（）
前一天（10 月 15 日）的帖文串给出的数字不同：同样对 GB300 NVL72 FP4，当时说的是 1.67 倍，并称 Google 的 TorchTPU + vLLM 只用 4 颗 TPUv7 芯片（FP8），就在性能/TCO（总拥有成本）比上超过 GB300 NVL72 FP4，覆盖帕累托前沿的大部分区间。（、）
这些数字都来自 SemiAnalysis 的测量；其中 10 月 16 日的一版注明了核算口径（「非 Google 的外部工作负载成本」）。精度上还有一个背景：TPUv7 没有原生 FP4，SemiAnalysis 9 月的文章也写明，NVIDIA 显卡在 FP4 下仍保持领先；这次 AgentX 对比里，TPUv7 跑 FP8，GB300 NVL72 跑 FP4。（）
AgentX 衡量的负载：43 轮会话、96% 前缀命中与子代理
AgentX 是 SemiAnalysis 的 InferenceX 基准中的智能体场景（）：它回放公开的智能体编码轨迹，让长会话带着共享前缀、轮次间停顿、并行子代理和重复的 KV 缓存命中跑起来，用推理基准工具 AIPerf 实现；站内每个数据点都由公开的 GitHub Actions 运行产出，配方与日志可查。
vLLM 在 9 月的博客里给过这类负载的画像：会话轮数中位数 43；输入中位数约 14.2 万 token、输出中位数 444 token；前缀缓存命中率超过 96%；44% 的会话至少含一个子代理，这些会话的子代理展开数中位数为 4。（）
固定序列的口径（例如 8K 输入、1K 输出）不含这些特征。SemiAnalysis 9 月时说，TPU 栈在智能体负载上的结果会在「今年晚些时候」发布；10 月 15 日与 16 日的这组帖文，是那批结果里的第一份。
9 月的首批 TPUv7 第三方成绩与 TorchTPU 栈
在 AgentX 之前，TPUv7 已经有过一次公开亮相。9 月 7 日，SemiAnalysis 发布 TPUv7 在 InferenceX 官方预览中的首批第三方推理结果：在 FP8、聚合式部署、单 token 预测、8K/1K 的设定下，Ironwood 的每美元性能最高比 B200/B300 高 50%；在每用户每秒 100 token 的交互性下，每百万 token 成本约 0.181 美元，对 B200 的 0.222 美元、B300 的 0.276 美元。
那批结果用的模型就是 Qwen 3.5 397B（FP8），Google 把它当作外部 TPU 栈的初始调试（bring-up）模型；支撑它的是第三代 TPU 后端 TorchTPU：让 vLLM 把 TPU 当作原生 PyTorch 设备，取代此前经由 TorchAX 翻译到 JAX 的路径。这篇 9 月的文章说，这套栈预计在 10 月前后结束私有测试并开源；Google 计划把支持扩展到 Kimi K3、GLM 5.3 等其他开源权重模型。
上图取自 9 月这批结果：横轴为交互性，纵轴为每百万 token 成本，蓝色曲线为 TPU7x（vLLM）。
Google TPU、Red Hat AI、Inferact 此前的公开工作
TPUv7 即 Ironwood，是 Google 的第七代 TPU，按 Google 官方说法是第一代专为推理设计的 TPU；单个 pod 最多 9,216 颗芯片，单芯片峰值算力标称 4,614 TFLOPs。（）
Inferact 按官网自述由 vLLM 的创建者与核心维护者创办，团队主导 vLLM 的路线图（）。9 月 14 日，Google Cloud 与 Inferact 宣布合作，目标是让 TPU 成为 vLLM 的「一等公民」：生产级服务特性与优化内核、经由 TorchTPU 的原生 PyTorch 路径、面向前沿模型发布的 day-0 支持（模型发布当天即可用），并称合作产出全部开源（）。9 月 23 日，Inferact 开源了 Kimi K3 的 TPU megakernel（把整个模型放进单个内核的推理实现），称其为「首个 TPU 推理 megakernel」：低并发解码达到每秒 709 token，对照其 GB200 基线的每秒 450 token，两者都开启 DSpark 投机解码（）。
Red Hat 一边，其与 Google Cloud 在 2025 年 5 月的联合新闻稿称，Google Cloud TPU 已在 vLLM 上全面启用；新闻稿把 Red Hat 称为 vLLM 的主要商业贡献者，其企业分发 Red Hat AI Inference Server 也已上线 Google Cloud（）。
更多模型与完整文章
SemiAnalysis 在 10 月 16 日帖文串的最后一条里说，TPUv7 会「很快」经由 AgentX 在更多模型（「不只是 1 个」）上展示性能/TCO；10 月 15 日的帖文串则说，完整文章会覆盖「更多、更多模型」，Google 会继续提交（）。
SemiAnalysis 9 月的文章预计，一旦少数模型在 TPU 上优化到位，为更多热门开源模型提供接近 day-0 的优化支持会容易得多；下一个可核对的信号，是 TPU7x 的 AgentX 条目里出现第二个模型。