AREX Feed Article
CoreWeave 将在其平台提供 NVIDIA Vera CPU:裸金属交付,单机架 128 颗、11,264 核
CoreWeave 在中宣布,将扩充其计算产品组合,纳入 NVIDIA Vera CPU,消息发布在 CoreWeave 的 AI 云大会 Fully Connected 上。Vera 将以裸金属(bare metal)方式交付,与 CoreWeave 机队其余部分一样,处于同一平台、同一消费模式和经济性之下;公告把 Vera 称作「首款为 AI 智能体(AI agents)设计的 CPU」。
公告给出的机架级规格是:单机架 128 颗 Vera CPU,合计 11,264 核,搭配 BlueField-4 DPU 与 Spectrum-X 以太网交换,可支持超过 11,000 个并发智能体环境。CoreWeave 还称,在其测试中,Vera 上的智能体沙箱启动速度比 x86 CPU 快 3 倍以上。
智能体循环里,CPU 负责哪些工作
CoreWeave 把新增这款 CPU 的理由放在智能体 AI 的工作方式上。公告把智能体循环拆成运行、观察、整理、改进、评估几个环节:GPU 负责模型的训练与推理;由 CPU 执行的是环绕每个环节的工作,包括隔离沙箱、强化学习(RL)环境、工具调用、代码执行和数据管道。这类需求是突发式的:循环中的某一步可能在一个小时内需要数千个环境,到下一次运行前又几乎什么都不需要。
智能体环境则通过 CoreWeave Sandboxes 部署:公告称这些环境完全硬件隔离,就放在它们所支持的训练任务旁边。CoreWeave 产品与工程执行副总裁 Chen Goldberg 说:「通用基础设施会让智能体 AI 遇到瓶颈;Vera 是首款为加速它而明确设计的 CPU。」她补充说,平台通过 CoreWeave Sandboxes 这类产品让 Vera 开箱即用,「团队可以立即拉起数千个隔离环境」,让整个 AI 循环从第一天起加速。
Vera 的单颗规格与机架内的互联
据 ,单颗 Vera 集成 88 个定制 Olympus 核心、176 个线程(Spatial Multithreading),采用单一计算 die 设计;128 颗乘以单颗 88 核,正是机架合计的 11,264 核。产品页同时列出最高 1.2 TB/s 的 LPDDR5X 内存带宽、最高 1.5 TB 的内存容量,以及与 GPU 之间最高 1.8 TB/s 的 NVLink-C2C 互联。
CoreWeave 公告称单机架「有空间容纳超过 11,000 个并发环境」;说,这是按每个环境一个核心计算的。节点之间由 BlueField-4 DPU(数据处理单元)与 Spectrum-X 以太网交换连接,公告称它们提供安全、高性能的互联。
性能数字:CoreWeave 的自测与 Signal65 的对照
CoreWeave 的公告,以及 NVIDIA 博客对这场大会的报道,都把沙箱启动数字表述为 CoreWeave 的测试结果;NVIDIA 博客还补充了一组数据:在 Terminal-Bench(一套让智能体在终端里完成任务的基准测试)上,CoreWeave 测得 Vera CPU 在所有通过任务上有 1.7 倍的性能增益。CoreWeave 在公告中说,衡量智能体 AI 的关键指标是能同时运行多少个隔离环境,以及环境数量上升时每个沙箱的性能能否保持稳定。
Signal65 总裁兼总经理 Ryan Shrout 在 CoreWeave 的公告中说:「AI 基础设施的讨论一直以加速器为中心,智能体系统正在改变这一点。在每个智能体循环里,CPU 工作所占的比例越来越大;随着后训练与智能体部署规模扩大,这个比例只会继续上升。决定团队能否用上这部分算力的,是它周围的平台。以裸金属方式、在训练集群旁边、在已经存在的编排之下运行,运营上的差别就体现在这里。」
Signal65 在 9 月 15 日发布的给出了另一组可对照的数字。测试把 Vera 与一颗 x86 处理器(128 核的 AMD EPYC 9755)放在 Terminal-Bench 2.0 上逐核比较:每个物理核心运行一个沙箱并保持满载,测量从沙箱创建到销毁的端到端耗时,模型推理被排除在外。
69 个在两平台上全部通过的任务里,Vera 每核比 x86 快 1.64 倍(几何平均;76 项对比集口径为 1.63 倍)。其中 61 个任务 Vera 领先,34 个达到 2 倍以上;8 个任务上 x86 更快,差距最大的 hf-model-inference 一项比值为 0.51(x86 耗时约为 Vera 的一半)。Signal65 还挑出 20 项它认为最接近日常智能体工作的任务;在这些任务上,Vera 的优势为 1.87 倍。
报告说明了自身的边界:配对测量由 NVIDIA 在其实验室完成,Signal65 审核了方法与逐任务数据,并在同一台 Vera 系统上亲自运行了两套配置的完整套件;与 x86 的 1.64 倍对比仍基于 NVIDIA 的配对测量。测试只覆盖这一类负载、只对比了这一款 x86 处理器,没有测整机吞吐、功耗或成本。两组数字的口径不同:CoreWeave 说的是沙箱启动时间,Signal65 测的是完整任务生命周期在满载下的每核耗时。
同场发布 Vera Rubin NVL72,Vera CPU 上线时间仍未给出
这场发布发生在 Fully Connected 大会。显示,会期为 9 月 29 日至 10 月 1 日,地点是旧金山 Moscone South。同一场大会上,CoreWeave 还宣布 NVIDIA Vera Rubin NVL72 在 CoreWeave 上可用,Cognition 是首个运行生产负载的客户;据 NVIDIA 博客,Cognition 的早期测试显示 SWE-2 推理的总 token 吞吐量比 GB200 NVL72 最高提升 4.8 倍。Vera 也是这套机架系统的 CPU 部分:NVIDIA 产品页列出 72 颗 Rubin GPU 与 36 颗 Vera CPU。NVIDIA 博客还提到,CoreWeave Sandboxes 已正式可用(generally available)。
至于 Vera CPU 本身,公告未给出它在 CoreWeave 的上线时间。