AREX Feed Article
CoreWeave 上线 NVIDIA Vera Rubin NVL72:Cognition 为首个生产客户,测得 SWE-2 推理总 token 吞吐量最高达 GB200 NVL72 的 4.8 倍
9 月 30 日,CoreWeave 在旧金山举行的 Fully Connected 大会上宣布,,系统搭配 Spectrum-X 102.4T 以太网网络;应用 AI 实验室 Cognition(Devin 的开发方)是第一个在这套系统上运行生产负载的客户。
数字来自 Cognition 的对比测试:SWE-2 推理负载的总 token(词元)吞吐量最高达到 GB200 NVL72 集群基线的 4.8 倍。CoreWeave 的称,这是首个由客户执行的 Vera Rubin 推理基准;NVIDIA 则把 Cognition 的这轮测试称为「早期测试」(early tests)。
这轮基准测试是怎么做的
按 NVIDIA 博客的描述,这是一轮「真实世界软件工程负载」的测试:从 FrontierCode 基准中抽取一部分任务,交给 AI agent(智能体)去解,对照上一代 GB200 NVL72 集群基线。
给出了这组数字对应的图表与口径。图表纵轴是每 GPU 相对吞吐量,横轴是交互度(interactivity,即每用户每秒的解码 token 数);图注的口径是:「推理场景下,每 GPU 的总 token 吞吐量在匹配交互度下最高为 GB200 NVL72 的 4.8 倍。」同一轮测试中,强化学习(RL)负载的输出 token 吞吐量最高达到基线的 3.8 倍。
测试由 Cognition 的工程团队执行;发布数字的 CoreWeave 与 NVIDIA 是这套系统的供应方,两家公告用的都是「最高」(up to)口径。
从收到机架到跑生产负载,只用几天
NVIDIA 博客称,CoreWeave 在 9 月收到首批 Vera Rubin NVL72 生产机架;CoreWeave 则说,它与 Cognition 在 9 月上旬一起搭起了集群,Cognition 的工程师在机架交付后几天内就运行了生产负载,没有为此另行做定制适配。
本次发布的两周前,9 月 16 日,CoreWeave 点亮连接数百颗 Rubin GPU 的多机架 Vera Rubin NVL72 集群。
当前阶段的开放范围有限:CoreWeave 的技术博客把这一阶段描述为「有限可用」(limited availability)、面向部分客户,并称已有数百颗 Rubin GPU 部署在多个区域、开始把客户负载迁入生产。据 CoreWeave 的公告,客户可以用与现有 GB200 NVL72、GB300 NVL72 机队相同的运营模式和工具来运行这套系统;容量入口包括 CoreWeave Kubernetes Service、SUNK、Mission Control、Sandboxes 与 CoreWeave Inference。
「这么快把 NVIDIA Vera Rubin NVL72 点亮,而且已有客户在几天内看到性能提升,是多年来跨 GPU 代际打磨平台工程的回报。」CoreWeave 产品与工程执行副总裁 Chen Goldberg 说。NVIDIA 超大规模与高性能计算副总裁 Ian Buck 也在同一篇博客里提到,CoreWeave 的 V100 GPU 在 Volta 发布近十年后仍在运行客户负载。
被拿来测试的 NVL72:72 颗 GPU 与 36 颗 CPU
按 CoreWeave 技术博客的配置描述,单个 NVL72 机架集成 72 颗 Rubin GPU 与 36 颗 Vera CPU,GPU 之间以 NVIDIA NVLink 6 互联;整套系统为液冷,按「一个逻辑 GPU」来组织,内存侧提供 1,400 TB/s 的 HBM4 带宽与 216 TB/s 的 NVLink 带宽。9 月 16 日的多机架公告还提到,每颗 Rubin GPU 配两颗 ConnectX-9 SuperNIC,机架中还集成 BlueField-4 DPU。
CoreWeave 的解释是:一个 agent 完成任务要反复推理、读取上下文、调用工具、执行代码、评估结果再重试;每一步更快,都会在整个工作流上叠加。
同场宣布的 Vera CPU 与 CoreWeave Forge
NVIDIA 博客称,CoreWeave 还将提供 Vera CPU,NVIDIA 把它称作首款为 AI agent 打造的 CPU。CoreWeave 部署的 Vera 单机架含 128 颗 CPU、11,264 个核心,可同时承载 11,000 多个各占一核的隔离环境;在 CoreWeave 的测试中,agent 沙箱的启动速度提升 3 倍以上,在 Terminal-Bench 的全部通过任务上取得 1.7 倍性能提升。
另一项发布是 CoreWeave Forge:把模型与 agent 的训练、评估和改进合到一处的环境,整合了 Weights & Biases、OpenPipe 的后训练能力与开源 marimo 项目;CoreWeave ARIA 与 Sandboxes 已正式可用,新增的 Agent Lens 服务面向生产环境 agent 的可观测性。Canva、Capital One 与 MasterClass 在首批于 Forge 上构建的公司之列。
Cognition 的换算:更多会话、更快研究循环、更低的单会话成本
Cognition 在 9 月 10 日发布 ,称其为「迄今最先进的编码模型」,当天起在 Devin Desktop 与命令行(CLI)中提供。这轮基准的测试对象正是 SWE-2 的推理。
Cognition 把 Devin 的训练、强化学习和生产推理都放在 CoreWeave 上;CoreWeave 称,Cognition 的规模在不到九个月里扩到了数千颗 GPU。
「Agentic 编码是一种复杂负载:长上下文、高并发,还有巨大的 token 量,而每 token 的成本决定我们能交付什么。」Cognition 研究高级副总裁、创始团队成员 Silas Alberti 说,「把这一切放在同一个平台上,加上与我们并肩解决难题的 NVIDIA 与 CoreWeave 工程师,这比任何单项规格都重要。」
按 CoreWeave 的换算,这组数字落到 Devin 上:每颗 GPU 承载更多并发会话、研究循环大幅加速、单会话成本更低,而生成速度不降。