AREX Feed Article
SemiAnalysis 称 4 颗 TPU v7 交互性接近 1 片 Cerebras 晶圆:1,515 对约 1,850 tok/s/用户
9 月 28 日,半导体分析机构 发帖称,仅仅 4 颗 TPU v7 就能在交互性上接近 1 片巨大的 Cerebras 晶圆,并把这一结果归因于 Inferact 那套使用 megakernel(把整个解码步骤收进单个内核的写法)的软件。帖文附带的对比图给出了具体数字:在 Qwen 3.8 27B 上,4× TPU v7 为 1,515 tok/s/用户(每秒每用户 token 数),Cerebras 侧约为 1,850,前者约为后者的 82%。
帖文只附了这一张图,没有列出两组数字的测试条件;结尾一句直接点名 Cerebras 的 DevX 团队,希望对方「看到 TPUv7 有多出色」之后,不要再「发推自我安慰」。
「交互性」与两组数字的出处
帖文的原话是:「仅仅 4 颗 TPUv7 就能在交互性上接近 1 片巨大的 Cerebras 晶圆,这要归功于 Inferact 那套『200IQ』的、使用 megakernel 的软件。」
「交互性」是 SemiAnalysis 运营的 InferenceX 基准术语表里的指标:单个用户在解码阶段每秒收到的生成 token 数,单位 tok/s/用户,也称每用户 token 速率;它描述流式输出的快慢,与首个 token 的等待时间无关()。
1,515 与 Inferact 公开材料中的结果一致:其开源仓库写明,在 DFlash2 推测解码、接受长度 6 的条件下,Qwen 3.8 27B 的 megakernel 在 4× TPU v7 上达到 1,515 token/s,对照 4× GB200 为 2.18 倍()。Cerebras 一侧,其官方模型目录为 Qwen 3.8 27B 标注的速度是约 1,850 token/s()。Inferact 材料里这条结果的对照对象是 4× GB200;把 4 颗 TPU v7 与 Cerebras 放进同一张图、并归因于 megakernel 的,是 SemiAnalysis 的帖文。
被归功的软件:Inferact 的 megakernel
Inferact 由开源推理引擎 vLLM 的创建者创办。9 月 14 日,Google Cloud 与 Inferact 宣布工程与市场推广合作,目标是让 TPU 成为 vLLM 的一等目标,合作产出全部开源()。
9 月 23 日,Inferact 宣布开源其首个 TPU 推理 megakernel,并称「据我们所知,这是第一个 TPU 推理 megakernel」:整个模型跑在单个 Pallas 内核里()。这种写法里,权重加载不再绑定到使用它的那个内核:前一层还在计算时,下一层的权重就可以异步搬进片上缓存 VMEM,减少数百次内核切换之间的带宽空转;Kimi K3 的 92 个 MoE 层被合并进一次 Pallas 调用()。按 Inferact 公布的数字,K3 在 16 颗 TPU v7 上达到 709 token/s,对照 16 颗 GB200 的 452;不启用推测解码时,批大小 1~8 的解码吞吐约为 GB200 基线的 1.4~2 倍。当天,SemiAnalysis 就发帖称这批结果显示「TPU 的软件外部化正在全速推进」()。
博客里还有一个细节:整套内核从零编译不到 90 秒;作为对照,由成百上千个 XLA 算子组成的大模型编译常要 30 分钟以上。
TPU7x 的芯片与虚拟机
Google 文档里,帖文所说的 TPU v7 写作 TPU7x,属于 Ironwood 家族,是 Google Cloud 的第七代 TPU,面向大规模训练与推理。单颗芯片有 192 GB HBM、约 7.37 TB/s 内存带宽、BF16 峰值算力 2,307 TFLOPS;每颗芯片由两个小芯片(chiplet)拼成,各带一个 TensorCore 和 96 GB HBM。
文档写明每台 TPU7x 虚拟机包含 4 颗芯片,对比里的「4 颗」就是一台虚拟机;一个 Pod 可扩展到 9,216 颗芯片()。
Cerebras 的晶圆级引擎
Cerebras 把整片晶圆做成一颗芯片:其晶圆级引擎 WSE-3 Turbo(Wafer-Scale Engine 3 Turbo)拥有 4 万亿个晶体管,本身就是一整片硅晶圆;官网称它是「全球最大、最强」的 AI 训练与推理处理器,其 CS-4 机架级系统由三颗 WSE-3T 组成,号称推理速度最高可达 GPU 系统的 30 倍()。
帖文里的「1 片晶圆」,指的就是这样一颗晶圆级芯片。
Cerebras DevX 的回应与对测试条件的保留意见
Cerebras DevX 负责人 Sarah Chieng 当天在中写道:「这一切,只是为了让我们为你们的付费订阅买单。」
在中,Julien Simon 把话题从速度引向成本:在这样的速度下,两套方案每百万输出 token 各要花多少钱。Cerebras 一方的价格是公开的:Qwen 3.8 27B 每百万输入 token 0.99 美元、每百万输出 token 1.49 美元();TPU 一侧的对应成本取决于租用价格与并发条件,无法仅凭这组交互性数字算出。
半导体行业人士 Omer Cheema 在里给出了更谨慎的版本:「在 Inferact 目前的软件下,4 颗 TPU v7 可以接近 Cerebras 在这款 27B 模型上公布的单用户生成速度。这是一个『软件对架构』的结果,不能证明两个平台是在相同内核、精度或服务条件下测得的。」