AREXOpen in interactive Feed

AREX Feed Article

vLLM 官方发布 Simon Mo PyTorch Conference 主题演讲视频:709 tokens/s 案例与 2027 年目标

November 18, 2026

北京时间 11 月 18 日凌晨(UTC 时间 11 月 17 日 21:15),vLLM 项目官方 X 账号发帖推介一场演讲:在 PyTorch Conference 上,Inferact CEO、vLLM 首席维护者之一 Simon Mo「解读了 vLLM 的现状、下一步计划,以及团队进入 2027 年的目标」。帖文给出的完整视频指向 PyTorch Foundation 频道的 YouTube 视频,标题为「vLLM Update: Scaling Open Frontier Inference Infrastructure - Simon Mo PyTorchCon NA Keynote」,全长 5 分 12 秒,另附一段 1 分 37 秒的演讲片段。

这场主题演讲(keynote)在大会官方议程上已挂了近一个月。PyTorch 官方博客的会后总结显示,PyTorch Conference North America 2026 于 10 月 20 日至 21 日在圣何塞举行,超过 3,500 人参会;「vLLM Update: Scaling Open Frontier Inference Infrastructure」由 Simon Mo(Inferact)主讲,列在 10 月 20 日第一天 keynote 名单中,与 Meta、NVIDIA、Google 等公司的演讲同日。Inferact 是本届大会的白金赞助商,vLLM 则是 PyTorch Foundation 旗下项目之一。视频上线后,这场演讲的社区数据、三个硬件案例和下一阶段目标也随之完整可见。

演讲盘点的家底:接近 9.3 万 stars,贡献者一年接近翻倍

视频字幕显示,Simon Mo 开篇把 vLLM 放在「2026 年推理经济」的锚点位置上,并给出社区数字:过去一年开源采用大幅增长,GitHub star 数接近 9.3 万,贡献者数量接近翻倍。截至 11 月 18 日,vllm-project/vllm 仓库显示 97,115 stars、24,943 forks,与演讲口径一致。

他把 vLLM 生态拆成几层来讲:Red Hat 等公司参与项目治理与核心基础设施优化;与 llm-d、PyTorch 等开源项目协作增强分布式推理与核心框架——llm-d 在 GitHub 上自述的定位,是把 vLLM 与 Kubernetes 等行业标准开源技术整合起来加速分布式推理,其 1.0 版本也恰好在这场大会当天发布(Google Cloud 博客,10 月 20 日);硬件合作覆盖 NVIDIA、AMD、Google、Intel 等,目标是让任意开源模型尽可能跑在最合适的加速器上;再往上是前沿实验室的 day-0 支持(新模型发布当天即可上线服务)、推理云伙伴,以及每天消费这些推理能力的应用层。

应用层在同一届大会上也有具体注脚:Shopify 工程师 Cody Mazza-Anthony 的 keynote 介绍了基于 PyTorch 与 vLLM 的持续学习回路,称每天把生产失败样本压缩进模型权重,服务成本降低 96%(PyTorch 官方博客口径)。

Kimi K3 在 16 块 TPU v7 上跑到 709 tokens/s

演讲给出的第一个具体案例是 TPU megakernel(把整步解码合并进一个内核运行)。Simon Mo 称,vLLM 团队与 Google 联合发布了在 Google TPU v7 上加速 Kimi K3 的最新结果,面向超低延迟、高交互式服务,单用户可得 700 tokens/s 以上,相关代码放在 vllm-torchtpu 中。

这些数字能多方对上。大会当天(10 月 20 日),Google 开发者博客宣布 vLLM 与 SGLang 的 TPU 原生 PyTorch 后端,称在 Ironwood TPU(即 TPU v7)上对单个用户供速超过 700 tokens/s。11 月 5 日,Inferact 发布技术公告并开源 tpu-megakernels 仓库,给出更细的口径:Kimi K3 配合 DSpark 投机解码,每步评估 1 个锚点加 7 条草稿行、接受长度通常在 3~6 个 token,在 16 块 TPU v7 上达到 709 tokens/s,对比 16 块 GB200 的 452 tokens/s 约 1.6 倍;不开投机解码时,batch 1~8 全部领先 GB200 基线,batch 1 接近 2 倍;单步解码约 8.5 毫秒。仓库 README 还列出 Qwen3.8-27B 的结果——4 块 TPU v7 对 4 块 GB200,1,515 对 695 tokens/s(2.18 倍),并附 GPQA-Diamond 0.944、GSM8K 0.972 的精度核对与复现脚本。

技术路线本身也写进了公告:megakernel 把整个解码步合并成一个程序,利用 TPU 每个 TensorCore 的 64 MiB 片上向量内存(VMEM)提前搬运下一层权重,消除多个小内核之间的带宽空泡;整个 megakernel 从零编译不到 90 秒,而公告称常规 XLA 编译大模型往往要 30 分钟以上。11 月 6 日,vllm-torchtpu 仓库里出现了megakernel 的 RFC 议题。

AMD MI355X 与 Vera Rubin:另外两个硬件案例

第二个案例是 AMD。演讲称 vLLM 与 AMD 团队及 Embedded LLM 等生态伙伴合作,把开源权重的编程模型 MiniMax M3 优化到面向 agentic(智能体式)推理的负载——代理会话轮数在 40 轮以上、单次会话持续时间很长,基准采用 SemiAnalysis 的 AgentX。公开记录与此吻合:vLLM 官方博客 6 月 12 日发布 MiniMax M3 的 day-0 支持记录,9 月 10 日发布优化跟进,称在 InferenceX 固定负载下,MI355X 上 MXFP8 并发 32 的输出吞吐从 109.1 提升到 342.4 output tokens/s/GPU(3.14 倍);P/D(prefill/decode 分离)架构在并发 512 达到 6,370.5 total tokens/s/GPU、中位 TTFT(首 token 前延迟)1.32 秒;首个面向 agentic 编码负载的 AgentX 点位也已挂出结果(并发 28 下 127.4 output tok/s/GPU)。SemiAnalysis 的对比页把 MiniMax M3 标为 428B 参数。

第三个案例是 NVIDIA 的 day-0 硬件支持。演讲称团队与 NVIDIA 合作在 Vera Rubin 上优化开源权重模型,并针对 MoE(混合专家)模型在新平台上 HBM(高带宽内存)容量与算力显著增大带来的新问题,合作开发 locality domain 技术。大会结束近一个月后,这条线有了可查的注脚:vLLM 官方账号 11 月 16 日发帖称,首批 DeepSeek V4.1 Flash 在 NVIDIA Vera Rubin NVL72 上的结果由 Dynamo + vLLM 跑出、基于 SemiAnalysis 的 AgentX 基准,对比 GB300 NVL72 在 400 tok/s/user 下每芯片总吞吐 63.4 倍、600 tok/s/user 下 93.3 倍——两组数字均出自项目方帖文口径。

下一季度的三件事,和 2027 年 10 月的对照点

演讲结尾,Simon Mo 把下一季度的工作列为三件:继续优化模型,把 vLLM 适配到生产级 agent 工作负载,以及在「如何用 agent 编码与贡献加速开源」的命题下重构核心引擎。他随后重述了项目目标——跨生态协作,加速开放智能(accelerate open intelligence),让所有人的开源推理更快。官方帖文里「进入 2027 年的目标」对应的正是这两段表述。

日历上也出现了对照点:PyTorch 官方博客宣布,下一届 PyTorch Conference 将于 2027 年 10 月 6 日至 7 日回到圣何塞。megakernel 仓库的后续计划写着更高并发与更多芯片拓扑的支持,vLLM 的季度重点也已公开——明年 10 月的这场大会,正好可以把这份清单逐项拿出来核对。

参考链接

  • vLLM 官方 X 帖文(2026-11-17)
  • vLLM Update: Scaling Open Frontier Inference Infrastructure — PyTorch Foundation YouTube
  • PyTorch Conference North America 2026 会后总结(PyTorch 官方博客)
  • vllm-project/vllm GitHub 仓库
  • llm-d/llm-d GitHub 仓库
  • Google Cloud 博客:llm-d 1.0 发布(2026-10-20)
  • Google 开发者博客:Announcing New vLLM and SGLang Inference Engines on TPU(2026-10-20)
  • Inferact 技术公告:700 TPS on Kimi K3 with TPU Megakernels(2026-11-05)
  • Inferact/tpu-megakernels GitHub 仓库
  • vllm-project/vllm-torchtpu RFC 议题 #2917(2026-11-06)
  • vLLM 官方博客:MiniMax M3 day-0 支持记录(2026-06-12)
  • vLLM 官方博客:Following the Bottleneck — Optimizing MiniMax M3 on AMD Instinct MI355X(2026-09-10)
  • SemiAnalysis InferenceX:MiniMax M3 428B — MI300X vs MI355X
  • vLLM 官方 X 帖文:DeepSeek V4.1 Flash on Vera Rubin NVL72(2026-11-16)