AREXOpen in interactive Feed

AREX Feed Article

MLCommons 发布 MLPerf Training v6.1 官方分析:四项未变基准最佳成绩增益几何平均 1.49 倍,Llama 3.1 405B 退役

November 19, 2026

MLPerf Training v6.1 成绩公布次日,MLCommons 于 11 月 17 日发布了官方分析帖《MLPerf Training v6.1: Bigger Clusters, Broader Hardware》,给出两条核心判断:在与 v6.0 定义完全相同的四项基准上,最快 Closed 成绩的增益几何平均为 1.49 倍;Llama 3.1 405B 与 DLRM-DCNv2 两项基准就此退役。分析帖还更新了规模画像:153 套系统中的 117 套(76%)为多节点,Closed 组成绩的中位加速器数从上一轮的 8 升至 32。

这轮成绩由 MLCommons 于 11 月 16 日公布:153 套系统、250 项成绩,12 套系统用到 1,000 块及以上加速器,最大规模 10,240 块,NVIDIA Rubin 与 Google TPUv7(Ironwood)首次参测,另有 DLRMv4-HSTU(HSTU 注意力架构的生成式推荐模型)与 Qwen3.5-397B GRPO(组相对策略优化的强化学习后训练)两项新基准进榜。分析帖基于这批已验证的 Closed 组成绩(太平洋时间 11 月 16 日上午 8 时发布),补上了公告里没有的跨轮对比与归因。

增益分布不均:FLUX.1 达 2.49 倍,Llama 3.1 8B 仅 1.13 倍

分析帖开篇把 AI 训练性能与摩尔定律摆在一起比较:将 v0.6 以来每一轮与上一轮共有基准的最快成绩链式几何平均增益连成指数,与「每两年翻一番」的假想摩尔定律曲线并排画出,并称全栈推进的 AI 训练节奏比摩尔定律更快。落到 v6.1,定义未变、可直接对比的基准有四项,MLCommons 算出的增益几何平均是 1.49 倍——帖中注明,这个指数从历轮结果推导而来,不是官方结果。

官方对照表给出的四项成绩并不均匀:FLUX.1 用时从 17.12 分钟缩到 6.88 分钟(2.49 倍),是四项里提升最快的;Llama 2 70B LoRA 从 0.40 分钟到 0.31 分钟(1.28 倍);GPT-OSS-20B 为 1.49 倍;Llama 3.1 8B 只从 4.46 分钟到 3.95 分钟(1.13 倍),增益最小。四组对比的系统规模一致——128 节点、512 块加速器,唯独 Llama 3.1 8B 的 v6.0 成绩用了 256 节点、1,024 块加速器。DeepSeek-V3 没进这组对比,表注写明了原因:这项基准的 warm-start(热启动)在两轮之间发生了变化。

同款硬件、同规模对比:软件栈解释了增益的一部分

把对比收紧到同一家族的加速器、同一规模,硬件大体不变,差异就主要落在软件、配方和调优上。分析帖列出的提升分布很宽:部分配置提升了 16%~85%,而 B200、B300、H200 的最佳成绩和 GB300 上的 Llama 2 70B LoRA 与 v6.0 相差不到 6%——这些配方早已打磨到位。帖中注明,这些同硬件对比的数字是 MLCommons 从结果推导的,不是官方结果。

AMD 的 8 卡 MI350X 与 MI355X 平台在 Llama 2 70B LoRA 和 Llama 3.1 8B 上比 v6.0 快了 16%~19%,AMD 将其归因于 ROCm 软件栈的持续优化,其口径是同平台 Llama 训练性能平均提升 19%。FLUX.1 在 GB300 的 16、32、72、512 卡各档位上比上一轮快 51%~85%。

两个提交者把优化做到了内核层。tinycorp 用自研 tinygrad 栈和基于 Python 的用户态 GPU 驱动跑 MI350X,Llama 3.1 8B 成绩从上一轮的 187.48 分钟降到 101.28 分钟,接近砍半。「这次提交在 MI350X 上使用了 tinygrad 及其基于 Python 的用户态驱动:相比内核驱动,它降低了开销、让我们对硬件有更多控制,从而带来性能提升。」tinycorp 在补充说明中写道。

KRAI 在 Dell PowerEdge XE9680 的 8 块 MI300X 上做 Llama 2 70B LoRA 微调,用 Claude Opus 5.5 智能体做「智能体工程」,把成绩从 v6.0 的 28.65 分钟压到 22.83 分钟,提升 20%——这块硬件已服役多年。收益的大头来自少干活而非算得更快:把全部激活值留在显存里,反向传播就不再重复前向计算,LoRA 适配器计算也被融合进基础 GEMM(矩阵乘)内核。「通过以 FP8 存储激活值并打包 dropout 掩码,我们腾出足够显存保留全部激活值,完全消除了重算。仅此一项就把训练步时间缩短了 12%。」KRAI 写道。

Firmus 在 8 块 GB300 上为注意力、归一化、MLP、MoE、低精度量化、通信和优化器算子重写了 NVFP4 优化内核:GPT-OSS-20B 从 69.60 分钟降到 52.90 分钟(24%),Llama 3.1 8B 从 60.88 分钟降到 52.40 分钟(14%),对比对象是它自己按未改动的参考配方跑出的成绩。本轮 8 卡 GB300 上 Llama 3.1 8B 的最佳成绩比 v6.0 快 21%、GPT-OSS-20B 快 40%,MI300X 上的 LoRA 成绩快 25%,都出自这两家。MLCommons 由此判断,AI 辅助开发正在成为挖掘性能余量的实用工具,哪怕硬件已服役多年。本轮,提交者还披露了线性层、注意力和通信所用的最低数值精度:250 项成绩中 116 项在线性层用 4 位格式(NVIDIA 卡上 NVFP4 占 82 项、AMD 卡上 MXFP4 占 34 项),113 项用 FP8;4 位在 FLUX.1(27 项中 24 项)和 Llama 3.1 8B(56 项中 42 项)上最常见,注意力只有 1 项用 4 位,250 项中 189 项的通信最低精度为 BF16。分析帖同时提醒:这些增益出自不同提交者与不同对比,不应被合并成一个单一提速倍数。

405B 退役:MLCommons 称大密集模型已不代表大规模预训练

Llama 3.1 405B 是大型密集(dense)预训练模型,只保留了三轮就退出——MLCommons 通常希望基准保留两年(四轮),给出的理由是大密集模型已不能代表大规模预训练:预训练已转向 MoE(mixture-of-experts,混合专家)模型,每个 token 只激活模型的一部分,套件中的 DeepSeek-V3 与 Qwen3.5-397B 现已覆盖大规模 MoE 训练。DLRM-DCNv2 在服役七轮(三年)后,由 DLRMv4(HSTU)接替。

两项新基准的首轮成绩也有了计数:智能体强化学习(agentic RL)后训练负载 Qwen3.5-397B GRPO(Group Relative Policy Optimization,组相对策略优化)有 7 家提交者、29 项成绩;基于 HSTU 注意力架构的生成式推荐器 DLRMv4 有 8 家、20 项。分析帖提醒,新基准的第一轮成绩部分反映新鲜度。

GRPO 基准的系统拆分展示了这类负载与传统预训练的不同:系统分成训练池和生成池。NVIDIA 用 NeMo RL 以 TP4、PP2、EP16~32(MXFP8)训练策略,把每个专家并行组留在单个 NVLink 域内,用 TensorRT-LLM(prefill 与 decode 引擎分离)或 vLLM 异步生成 rollout(推理采样);系统从 64 块 GPU 扩到 1,024 块时,分配向生成侧倾斜——从 32 块训练加 32 块生成变成 256 块训练加 768 块生成,生成侧张量并行从 4 升到 8。Google 则以 128 芯片的 TPU7x 训练切片(FSDP 32、CP 4、EP 2)搭配 128 个四芯片 rollout 切片跑 vLLM,更新后的权重经数据中心网络广播,允许 rollout 落后策略最多两个版本。

CPU 也在成为训练本身的一部分:在 agentic RL 里,主机 CPU 运行把模型响应变成奖励的环境和测试。本轮各工作负载同时运行的 sandbox(沙盒)约在 500~3,150 个之间,共享 CPU 池上限为 4,096 个;有的跑在加速器节点的宿主 CPU 上,Google 则用独立的 CPU 节点。MLCommons 预计,随着 agentic 负载增长,主机 CPU 容量会更吃重。

最大系统扩到 10,240 块加速器,扩展收益因负载而分化

Closed 组成绩的中位加速器数,从 v4.0 到 v6.0 的每一轮都是 8,本轮跳到 32。多节点系统从上一轮的 72/118(61%)升到 117/153(76%);25 家提交者中 19 家至少提交了一套多节点系统(上一轮为 24 家中 16 家);使用 64 块及以上加速器的成绩从 73 项增至 111 项。

最大的 Closed 系统从 v6.0 的 8,192 块 GPU 增至 10,240 块:NVIDIA 的 GB300 NVL72 与 Azure 的 GB200 NVL72 各一套,都是 160 个 NVL72 机柜,都跑 DeepSeek-V3,官方耗时分别为 1.38 分钟和 2.36 分钟;Google 在单个 ICI(Google 片间互联)slice 里用 8,192 块 TPU7x(Ironwood)跑同一模型,用时 1.70 分钟。跑这个 671B 参数 MoE 模型的最小系统来自 Cisco——64 块 B300、8 台 8 卡服务器,用时 163.19 分钟,是 v6.0 与 v6.1 两轮里跑该模型的最小系统,给「在常规服务器而非机柜级系统上训练大 MoE」提供了参照点。

扩容并不总是更快。MLPerf 测的是固定数据集和质量目标下的训练时间,系统更大就必须更快完成同一个任务,这与问题规模随系统增长的 HPL(TOP500 榜单所用的基准)不同。分析帖拆了几道坎:全局批大小封住数据并行(Llama 3.1 8B 每步只有约 64 条序列);DeepSeek-V3 每步约 16,000 条序列,但 671B 参数的完整模型状态超过 10 TB,单卡 HBM(高带宽显存)只有 186~288 GB,必须叠加流水线与专家并行并重算激活。按提交配置,最大的几套 DeepSeek-V3 都把专家 all-to-all 留在纵向扩展(scale-up)域内,并把通信与计算重叠。两条扩展曲线因此分化:GB300 上的 DeepSeek-V3 从 256 块 GPU 加到 1,024 块(4 倍),拿到 3.9 倍提速;再上到 10,240 块(再 10 倍),又拿到 5.8 倍提速;Llama 3.1 8B 在 Vera Rubin 上从 72 块加到 512 块(约 7 倍),只拿到 1.9 倍提速——批在几十块卡时就已用尽。

硬件构成同时变宽:12 款加速器产品来自三家厂商——NVIDIA 从 H100 到 VR200 共 8 款,覆盖 122 套系统(21 家提交者);AMD MI300X、MI350X、MI355X 覆盖 27 套(9 家);Google TPU7x 覆盖 4 套,最大到 8,192 芯片。横向扩展(scale-out)网络覆盖 InfiniBand、RoCEv2 以太网(含 NVIDIA Spectrum-X 与 Cisco 的四平面设计)、HPE Slingshot 与 Google DCN 四类。主机 CPU 有四款:NVIDIA Grace(64 套)、本轮新增的 Vera(23 套)、Intel Xeon(35 套)与 AMD EPYC(31 套);125 项成绩跑在 4 卡节点上,其中 115 项用的是 GB200、GB300 与 Vera Rubin NVL72 机柜的算力托盘。

厂商博客补充了各自的细节。Google Cloud 称其 8,192 块 Ironwood 的预训练在 4,096 芯片规模上扩展效率达 96%,640 块 Ironwood 以 18.02 分钟完成首个 MLPerf agentic-RL 基准(得分 0.765,高于 0.69 的目标,训练芯片等待时间低于 3%);CoreWeave 称其 256 块 Rubin GPU 训练 DeepSeek-V3用时 17.65 分钟,同卡数下自家 GB200 NVL72 为 48.40 分钟(自称提速 2.7 倍),单机柜 Llama 3.1 8B 用时 7.16 分钟、为该轮最快 72 卡提交,另在 256 块 GB200 GPU(128 块训练、128 块生成)上以 22.78 分钟完成 Qwen3.5 397B 强化学习。这些都是厂商在 MLPerf 规则内自报的提交成绩,未经第三方复跑;「最快 72 卡提交」「唯一提交多机柜 Vera Rubin 成绩的云厂商」的说法与提速倍数,均为 CoreWeave 自行推导或统计。

提交目的也在分散,从表征新芯片到验证学术集群的多租户运行。分析帖记录,韩国 TTA 提交了本轮唯一的能耗测量成绩:「我们带着功耗来提交,因为能耗正在成为与时间同等有分量的 AI 基础设施维度。」佛罗里达大学在 HiPerGator 集群的半个 B200 SuperPOD 上完成提交,另一半同时继续服务研究者——其 256 块 B200 系统跑 DeepSeek-V3 用时 132.16 分钟。

对不上的提交机构数:分析帖写 25 家,公告列 24 家

分析帖统计「250 项成绩来自 25 家提交机构」,多节点统计也按 25 家计;而 11 月 16 日的成绩公告写的是「24 家提交机构」,并逐一列出名单:AMD、ASUSTeK、Azure、Cisco、CoreWeave、Crusoe、Dell、Firmus、Fujitsu、Giga Computing、Google、HPE、Inventec、KRAI、Lambda、MiTAC、Nebius、NVIDIA、Oracle、Quanta Cloud Technology、Supermicro、tiny corp、TTA、University of Florida。两份口径都出自 MLCommons 自己,分析帖没有解释这 1 家的差异从何而来。

分析帖结尾列出了留给后续轮次的问题:如何让基准突破全局批大小对数据并行的限制、更大模型入列后横向扩展互联有多重要、提交者之间的竞争能否继续推高优化强度;MLCommons 表示期待明年的 v7.0 带来新基准。

参考链接

  • MLPerf Training v6.1: Bigger Clusters, Broader Hardware(MLCommons,2026-11-17)
  • MLPerf Training v6.1 Results: Record Participation(MLCommons,2026-11-16)
  • New AI training performance benchmarks for Google TPUs(Google Cloud,2026-11-16)
  • CoreWeave's Multi-Rack NVIDIA Vera Rubin MLPerf v6.1 Results(CoreWeave,2026-11-16)

More from this developing story

  • MLCommons 发布 MLPerf Training v6.1 成绩:GRPO 后训练基准首次进榜,Rubin 与 Ironwood 首次参测Nov 16, 2026
  • MLCommons 发布 MLPerf Training v6.1 官方分析:四项未变基准最佳成绩增益几何平均 1.49 倍,Llama 3.1 405B 退役Nov 19, 2026