AREX Feed Article
首届 SGLang Summit 开幕:LMSYS 成立 SGLang Consortium,NVIDIA、Intel、Meta 等八家为创始成员
旧金山时间 11 月 12 日,首届 SGLang Summit 开幕。在开幕主题演讲中,开源推理引擎 SGLang 背后的非营利组织 宣布成立 SGLang Consortium,创始成员为 NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal 与 RadixArk 八家,公告副题将它们概括为「硬件、模型和基础设施领域的领先者」。三份公告均出自峰会开幕日:除了联盟成立,还有 SGLang 官方账号宣布的 v1.0 版本,以及 Intel 与 RadixArk 合作、为 Intel 平台优化 SGLang 推理栈的公告。
公告把治理结构写得很具体:SGLang 维护者继续保留技术决策权与代码合入权,项目对整个社区保持开放;八家创始成员各指定一名技术代表,每年参加两次路线图会议。
常设论坛聚焦四个工程方向,成员以工程资源参与
按公告的设计,联盟为成员与维护者提供一个常设论坛,讨论新兴推理趋势,把共同优先级转成联合工程工作,聚焦四个方向:前沿模型支持、reasoning 与多模态工作负载、分布式推理和硬件优化。工作组可以在两次会议之间协作,路线图方向与进展将公开更新。公告未提及出资或商业安排,列出的参与方式是四种:工程专长、部署反馈、测试资源和联合开发。
RadixArk 联合创始人兼 CEO Ying Sheng 代表 SGLang 团队表态。她是 SGLang 原始论文的共同作者,原话是:「在最大规模上运行 SGLang 的团队,比任何人都更早看到推理的下一步需求。」她还表示,考虑到新建数据中心的种种挑战,「用软件手段提升 AI 效率将变得极其重要,这些经验会惠及每一个 SGLang 用户,并推动整个 AI 生态」。
两家芯片厂商的代表也在公告中被引述。NVIDIA 超大规模与高性能计算副总裁 Ian Buck 表示,更好的软件帮助开发者从 NVIDIA 算力中获得更高性能,「更低的推理成本让 AI 对各地的机构都更容易获得」。AMD AI 应用企业副总裁 Ramine Roane 则称,SGLang 为开发者提供了「一个跨硬件运行的快速开放推理引擎,包括 AMD Instinct GPU」。
德勤预计 2026 年推理将占 AI 算力约三分之二
LMSYS 给联盟成立算了一笔账,援引的是德勤的预测:2026 年,推理预计占全部 AI 算力的约三分之二,高于 2025 年的约一半;而推理引擎决定这些算力在每家公司的硬件上跑得多快、成本多低。
随后是 LMSYS 的自述口径:SGLang 是面向前沿 AI 的全栈推理引擎,属 PyTorch 生态,运行在数十万块 GPU 上,支撑 Meta、Microsoft、Google、Amazon、Thinking Machines Lab、Cloudflare、Reflection 与 Modal 等公司的大规模生产推理。这份用户名单未经独立核实,不过其中几家公司能从另一份材料得到印证:LMSYS 于 10 月 28 日通过 介绍,SGLang 是一个以 Apache 2.0 许可发布、用于服务大语言与多模态模型的框架,「被 Google、Meta、Microsoft、NVIDIA、LinkedIn 和 xAI 等公司使用」。两份名单在 Meta、Google、Microsoft 三家上重合,各自还多出几家。
v1.0 官宣:调度零开销、关键路径换 Rust,细节待公布
11 月 12 日 18:21(UTC),SGLang 官方账号 在峰会现场宣布 SGLang v1.0。帖子把更新归成三块:推理速度上,引入零开销调度(zero-overhead scheduling),性能关键路径用 Rust 重写,加入投机解码(speculative decoding)与 megakernels(巨型内核);内存利用上,为混合模型提供统一内存,分层缓存让长 agent 历史在 GPU 显存之外也能复用;扩展方式上,提供 prefill/decode(预填充与解码)分离与灵活并行,让服务配置适配工作负载。
帖子同时给出两组采用数字:330 多家组织在使用 SGLang,对 217 个模型提供 day-0 支持。这两组数字与上面的运行规模一样,均出自公告方自述。这条官宣只列出特性清单,发布细节标注为「即将公布」:性能数据、发布时间和具体改动,帖子都没有给出。
Intel 与 RadixArk 合作:为 CPU、GPU 与 AMX 优化 SGLang
峰会同日,Intel 通过 Business Wire 发布,宣布与 RadixArk 合作,为 Intel 平台上的 SGLang 开源推理栈做优化,范围覆盖 CPU、GPU 与加速器,含 Intel AMX(Advanced Matrix Extensions,高级矩阵扩展)。英特尔数据中心集团负责 AI 产品与 GTM(go-to-market,市场进入)的副总裁 Anil Nanduri 在新闻稿中说:「企业 AI 正在走出孤立的性能基准测试,转向解决全系统的生产部署。」按他的说法,这次合作要确保开发者获得 Day-0 readiness(发布当日就绪)和直接针对 Intel CPU、GPU 与加速器优化的高性能推理软件,并且可以自由选择工具、框架和技术。
新闻稿列出的开发者收益包括:在标准开放框架和接口上构建,利用 Intel 的计算密度与内置硬件加速特性,缩短进入生产环节的时间、降低延迟,并在现有数据中心与云容量之间灵活选择部署位置。Ying Sheng 在同一份新闻稿中称,这次合作会把深度优化汇入(upstream)核心框架,「开发者不必再在开放标准与高性能之间妥协」。
峰会规格与 RadixArk 的三重身份
这届峰会在 10 月 28 日就公布了议程与演讲阵容:11 月 12~13 日在旧金山 Fort Mason Center for Arts & Culture 举行,主题为「Open Foundations for the Next Era of AI」,预计超过 2,000 名参会者。演讲者超过 100 位,包括 Intel CEO Lip-Bu Tan、OpenAI 的 Lilian Weng、Thinking Machines Lab CTO Soumith Chintala 和 Perplexity CEO Aravind Srinivas;白金赞助商是 Google、Intel、NVIDIA、Meta、AMD 与 RadixArk,另有 30 多家赞助商,包括 AWS、Microsoft AI 和 Samsung。
RadixArk 在这组公告里以三种身份出现:联盟创始成员、Intel 的合作方、峰会白金赞助商。这家公司由 Ying Sheng 与 Banghua Zhu 联合创办,团队包含 SGLang 与开源强化学习框架 Miles 的创建者和核心维护者,种子轮融得 1 亿美元,由 Accel 领投、Spark Capital 联合领投。开幕日过后,可核对的节点有两个:联盟承诺的路线图方向与进展公开更新何时出现,以及 v1.0 发布细节的披露——官方目前的说法仍是「即将公布」。