AREX Feed Article
Meta 披露吉瓦级集群 Prometheus 训练细节：Muse 模型预训练 goodput 超 85%、强化学习超 90%
北京时间 10 月 20 日凌晨 2 时 14 分，Meta AI 官方账号 @AIatMeta 在 X 发帖称，Muse 基础模型系列（含 Muse Wonder）是在位于俄亥俄州 New Albany 的吉瓦级超级集群 Prometheus 上完成训练的，帖文附上了介绍这座集群技术的。链接指向 Meta 工程博客当地时间 10 月 19 日发布的长文 ，内容比帖文更完整。
Meta 给出的核心数据是：这座集群在 Muse Wonder 的预训练任务中取得 85% 以上的 goodput（有效训练吞吐占比），强化学习任务超过 90%，训练期间平均无中断时间（MTBI）约 4.7 万 GPU 小时；博客称，已在全机群落地的进一步改动（包括固件修复）把这一指标推高到 5.4 万 GPU 小时以上。所有数字均出自 Meta 单方口径，帖文与博客未附第三方核实数据。
数十万块 GPU 上，一台主机掉队就能拖慢整场训练
Meta 在帖文里把理由说得很直接：在一个拥有数十万块 GPU 的超级集群中，即使只有一台表现不佳的主机，也可能拖慢整场训练。工程博客把这句话拆成了机制：大型训练任务要求所有部件同时保持最佳状态，从 GPU 硅片缺陷、网络 fabric（交换网络结构）异常、存储瓶颈到温度触及上限，任何迫使任务暂停并进入恢复流程的故障都计为一次「中断」；中断越多，名义算力中真正转化为有效训练进展的比例，也就是 goodput，就越低。MTBI（mean time between interruptions）则从另一个方向计量同一件事，看的是集群平均运行多久会被打断一次。
支撑这些数字的是一套与 NVIDIA 的联合工程安排：NVIDIA 团队进驻 Meta 的数据中心，双方共享实时遥测，对每一次系统停机按根因归因——Meta 负责调度和基础设施，NVIDIA 负责固件、信号诊断和内存处理。博客称，这种透明消除了责任模糊，让两边的修复更快。
两年改造：从跑网页流量的数据中心到前沿模型训练场
按博客的说法，两年前 New Albany 还是一个处理网页流量的常规数据中心站点，Meta 靠硬件、网络和楼宇设计的改造，把它变成前沿模型的训练基地。工程分期推进：一期已经建成，用于训练 Muse 系列模型。今天的 Prometheus 由横跨多栋建筑的数十万块 GPU 组成，包括传统数据中心楼、AI 优化楼宇和快速部署结构，靠大量光纤互联、「像一台机器一样」协同工作；满规模目标约为 100 万块分布式 GPU。除自建楼宇外，Meta 还通过租用战略合作伙伴的机房加快部署进度。
Muse Wonder 被 Meta 描述为在个人与专业智能体（agentic）任务上达到 SOTA（业界最优）表现的新一代前沿模型。博客预告，接下来 Prometheus 将围绕 Meta Superintelligence Labs 的下一代前沿模型继续扩容。
两代 NVL72 平台：Catalina 与 Clemente，Vera Rubin 在路上
Prometheus 目前部署两代 NVIDIA 平台。第一代 Catalina 采用 GB200 NVL72 的 Ariel 变体：两个机架各装 36 块 GPU，经 NVLink 组成统一的 72 GPU 计算域，整域配 13.4 TB HBM3e 显存（每块 GPU 192 GB），FP8 峰值算力 720 PFLOPS（FP4 下 1,440 PFLOPS），域内 NVLink 峰值带宽 130 TB/s，双机架系统总功耗约 120 kW。Meta 解释了选 Ariel 而非标准配置的原因：GB200 相对上一代 H100 几乎全面扩容，唯独单 GPU 的 scale-out（对外横向扩展）带宽仍停留在 400G，于是每块 GPU 配两张 ConnectX-7 网卡，把这一项提前拉到 800G。
第二代 Clemente 升级到 GB300 NVL72，并把 72 GPU 域装进单个机架：每块 Blackwell Ultra GPU 配 288 GB HBM3e（较 GB200 多 50%，整域 20.7 TB），FP4 峰值算力超 1 exaFLOPS，每块 GPU 双向 NVLink 带宽 1.8 TB/s，机架功耗约 135 kW，性能较 GB200 NVL72 提升 5%～10%。基于 NVIDIA Vera Rubin NVL72 的第三代平台 San Miguel 即将部署，博客列出的规格是：每块 GPU 288 GB HBM4、峰值带宽 19.2 TB/s，单机架 FP4 峰值算力 2.52 EFLOPS，NVLink 带宽 216 TB/s，全液冷、功率超 170 kW，每瓦性能较 GB300 再提升 10%～20%。
从 2 公里到 100 多公里：楼与楼之间的 GPU 直连网络
除常规数据中心网络外，Meta 几年前增建了第二张基于以太网的专用后端数据网络（Back-End，BE），让 GPU 之间可以跨楼直连通信。楼内部分，每张以太网 fabric 至多互联 20,736 块 GPU；早期采用 Disaggregated Scheduled Fabric（DSF），用子报文级多路径路由和包重排序缓解训练集合通信的拥塞；随着网卡具备端点重排序能力，又切换到基于 51.2T 浅缓冲交换芯片的 Non-Scheduled Fabric（NSF），交换机包括 Minipack3 和采用 NVIDIA Spectrum-4 芯片的 Minipack3N，两者都运行在 Meta 自研的 FBOSS 网络栈上。
楼与楼之间靠后端聚合（Backend Aggregation，BAG）网络连接：一张多层枢纽-辐条结构，跨距从 2 公里到 100 公里以上，用 Arista 7800 系列机箱搭配深缓冲的 Broadcom Jericho3 芯片，每对区域间提供数 Pbps 带宽。博客称，跨越这种距离跑预训练受光速限制，Meta Superintelligence Labs 为此做了专门的通信优化。按博客给出的口径，整座集群的网络包含数百万英里光纤纤芯、数万台交换机和数百万只光模块。
一年压降 99%：机架内备件、PAFT 与检查点三道保险
可靠性工程的核心约束来自 NVL72 本身：scale-up 域（经 NVLink 紧耦合、共同承担张量并行的 GPU 组）从 H100 时代 NVL8 的 8 块 GPU 扩大到 72 块，单点故障的波及半径放大 9 倍；一个 NVL72 域内有 5,184 条工作在 200 Gbps 的调优差分信号链路，每条都要穿过 GPU SerDes、计算托盘 PCB、线缆盒和交换托盘接口等多个潜在故障点。
Meta 的做法是让每个 72 GPU 域只承担 64 块 GPU 的训练切片、留 8 块机内备件：某块 GPU 故障时备件立即顶上，任务从最近检查点重启，机架继续留在任务里，不必等硬件修复。针对更少见的整机架故障，再额外保留约 2% 的备用机架。Meta 举例称，一个 32,768 块活跃 GPU 的训练任务需配置 523 个 NVL72 机架、共 37,656 块 GPU，比活跃规模多出约 13%，其中 11 个百分点来自 64/72 的切片几何，而非纯粹的可靠性开销。
故障发生后的恢复分两级。能隔离到单个数据并行副本的故障走 PAFT（Parallelism-Aware Fault Tolerance）：把坏副本下线，其余集群重做该步继续训练，坏切片稍后在备机上重启并重新同步；波及面更大时，整个任务回滚到最近检查点，分布式检查点架构以异步方式把模型状态（含梯度和优化器数据）写入多级存储，靠增量检查点和内存暂存把保存开销压到最低。
这条曲线记录了修复过程：2025 年年中 Prometheus 初期，中断率一度接近每 8K GPU 每天 1,000 次的峰值；博客称经过约一年跨团队工程，中断减少 99%，集群得以并行维持多个数万 GPU 规模的训练任务。中断源被逐类拆解：GB200 部署初期最主要的瓶颈是 NVLink 信号完整性——超过 60 万条 NVLink 连接中，轻微的信号劣化就会触发频繁的链路恢复，Meta 用持续遥测、自动标记和 L11 诊断烧录在投产前隔离弱链路；GB300 上量后，HBM 与 LPDDR 内存故障成为主要来源，靠修订 HBM 固件、内存清洗、改进 LPDDR 纠错算法和预测性检测，在劣化器件拖慢任务前将其退役；单个 NVLink 交换机故障就可能危及整个 72 GPU 域，毫秒级健康监测与自动恢复路径负责隔离故障、重平衡流量；BAG 骨干层的链路事件由硬件故障检测透明处理，单根光纤或端口故障不会打断 GPU 的同步通信。
运维侧的对应机制包括：常驻 New Albany 现场的分诊团队、修复回池前的强制隔离验证，以及 3 月实施的一次贯穿全栈的稳定性冲刺。固件打包自动化能在几小时内向超过 10 万块 GPU 推送修复，单 pod 升级耗时的 P90（90% 分位）从早期的 7 个多小时压到 2 小时；投产前以自动化信号筛查对 NVLink 路径做诊断压力测试，并针对单体 GPU 1,400 W 的负载做供电压力测试。
30%～40% 的功率波动，与下一站 Hyperion
吉瓦级还有另一道题。数万块 GPU 同步执行计算与通信周期，会引发集群级 30%～40% 的功率瞬变，启停一个大型训练任务可在数秒内搬动数十兆瓦负荷。Meta 的应对是集群级电力管理框架 Dynamo Dimmer：逼近电力上限时不硬停负载，而是逐步下调 GPU 功率限制，让训练继续；其下再垫机架级电池备份（BBU）、电容托盘（CBU）、设施级电池储能（BESS），并与公用事业公司深度协同。
散热同样分代混用：模块化风液辅助液冷（AALC）覆盖自由冷却（free-air）楼宇和快速部署结构，新建的 AI 优化楼宇采用设施级液冷（FLC）以支撑更高功率密度；Meta 最新的 AI 数据中心用闭环液冷直接冷却芯片，并称这种方案也更省水。在 New Albany，Meta 称与当地公用事业合作、支付全部能源成本，并通过能源开发商以新增清洁、可再生能源匹配用电。
Prometheus 的扩容已在路上：Meta 将以 GB300 NVL72 和 Vera Rubin NVL72 混合扩充容量；在路易斯安那州 Richland Parish 规划的超级集群 Hyperion 从设计之初就吸收 Prometheus 的经验，配闭环液冷，并与公用事业公司 Entergy 达成全网连接协议，成本由 Meta 全额承担。而在 New Albany，博客写下的可靠性目标线是每天每 8K GPU 两次中断，约合 10 万 GPU 小时 MTBI——从目前的 5.4 万到 10 万，Meta 的表述是「还在持续改进」。