AREX Feed Article
微软披露 MAI-Base-2 完成预训练:2.8 万亿参数 MoE,Suleyman 称以四分之一算力在部分测试胜过 GPT-5.6 背后基座
10 月 15 日,微软通过 Microsoft AI 官方博客宣布,自研基座模型 MAI-Base-2 已完成预训练:总参数 2.8 万亿的 MoE(Mixture-of-Experts,混合专家)架构,每个 token 激活 800 亿参数,动用 16,000 块 NVIDIA GB200 GPU,在 2026 年 8 月至 9 月间训练了 38 天;视觉自训练之初即整合,训练数据为自建而非蒸馏。同一天,Microsoft AI CEO Mustafa Suleyman 在内部员工大会(town hall)上给出了更进一步的说法:「我们现在拥有一个比目前驱动 GPT 5.6 Sol 的模型更强的预训练基座。而且事实上,我们训练时用的算力,只有 OpenAI 训练其模型的四分之一。」
这组对比眼下只有微软自己的陈述。报道 town hall 言论的 指出,结论来自微软的私下测试,没有任何公开基准可以核对;微软拒绝置评,OpenAI 没有回应置评请求。 在 10 月 23 日的报道中同样写明,性能与效率数字均为微软自述、未经独立验证。官方博客确认后训练仍在进行,未给出公开发布日期。
「我们私下、保密地把它和 OpenAI 的模型做了对比」
Suleyman 在 town hall 上描述的对比过程相当具体。据 Business Insider 报道,他说微软私下把 MAI-Base-2 与 OpenAI 的多款模型做了测试,其中包括一个昵称「Spud」、驱动着 GPT-5.6 的模型;在衡量 AI 对信息中模式的理解与预测能力的测试上,微软的模型表现更好。他还暗示微软掌握着 OpenAI 模型表现的技术信息:「我们也在私下、保密的条件下把它与 OpenAI 的模型做了对比。」
效率口径他给得更粗:「比方说在计算效率上,我们用的计算量比 DeepSeek 少了 12 倍。」Business Insider 指出,他没有说明是哪款 DeepSeek 模型;官方博客给出的精确区间是,MAI-Base-2 的预训练 FLOPs(浮点运算次数)效率为 DeepSeek-V4-Pro-Base 的 4.2~12.3 倍——Suleyman 口中的「12 倍」,正落在这一区间的上端。Cloud Wars 把 GPT-5.6 对比明确标注为「尚未获得公开验证」的声称。
官方博客的训练账本:21% MFU、89% goodput
官方博客把这次训练的账目列得很细。MAI-Base-2 的预训练共消耗 50 万亿 token 的训练混合(training mixture),全程平均 MFU(model FLOPs utilization,模型算力利用率)为 21%——按 GB200 在 BF16 精度下 2.5 PFLOPS 的理论峰值归一,且不含重计算与优化器的开销;goodput(训练真正在推进的时间占比)为 89%。
评估方法也写在明面上:在训练时未见过的留出文本上用 BPB(bits-per-byte,每字节比特数)比较,这个指标不受各家 tokenizer(分词器)差异影响;代码评估用 MAI 自己的代码库,STEM、数学和问答评估则委托外部供应商出题,以降低训练集污染风险,所有评估集都对照训练数据做了去污染处理。按博客的说法,MAI-Base-2 在所有这些留出评估上的 BPB 都低于被测对手——对比对象包括最强开源权重 base 模型 DeepSeek-V4-Pro-Base,以及 Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL。博客自己加了一条注:后三个模型只有后训练版本可用,「后训练可能影响这些评估」。
4.2~12.3 倍是怎么拟合出来的
4.2~12.3 倍由一套拟合流程得出。博客解释,直接比较模型会把训练配方质量与模型规模、算力差异混在一起,于是微软对四个留出评估分别拟合了 BPB 随训练 FLOPs 变化的 scaling law(缩放定律),估算自己的配方要多少算力才能追平 DeepSeek-V4-Pro-Base 的 BPB,再与 DeepSeek 实际训练算力相比。选 DeepSeek 当参照物的原因也写明了:它是唯一发布了超过一万亿参数 base 预训练检查点(checkpoint)的模型,尽管其训练 FLOPs 明显少于 MAI-Base-2。同样的方法对照自家 6 月发布的 MAI-Base-1,进步幅度是 6.3~12.7 倍。
博客把效率收益归到三条线上。一是 scaling science:用考虑重复数据的 scaling ladder(缩放阶梯)加上「source scaling」技术,让小规模实验的结论能可靠迁移到 2.8 万亿参数的最终模型。二是模型与基础设施协同设计:修复 MoE 实现的两处低效后,MoE 层 MFU 从 24% 提高到 35%,让每一层都用 MoE 成为可能;自研的 multi-round dropless MoE 在任意路由不均衡下保持固定显存占用;优化器从 AdamW 换成 Muon,优化后仅占平均迭代时长的 2.1%(165 毫秒)。三是数据扩容。省下的算力没有落袋,博客写明「我们把这笔节省投入了训练一个更大的模型」。
Cloud Wars 提醒了一笔算术之外的账:训练效率本身不等于总成本下降——硬件、数据、后训练和推理成本都得另算。
不蒸馏的自建数据,和从训练之初整合的视觉
数据部分,博客的表述很直接:预训练建立在「有机数据」上,不从其他模型蒸馏;每一个训练 token 都在微软自家管线里处理。与 MAI-Base-1 相比,独特训练 token 增加了约 36%,语料知识截止 2026 年 3 月。网络数据用自研爬虫抓取,遵守 robots.txt,并排除违反微软负责任 AI 政策或登上美国贸易代表办公室 Notorious Markets 名单的来源。
视觉的处理方式也和上一代不同:MAI-Base-2 从预训练起就原生带视觉,采用无编码器(encoder-free)的 VLM(视觉语言模型)架构。VLM 语料含 4.5 万亿个独特 token,计入重复后占 50 万亿 token 训练混合的 18%,任务覆盖网络图注、图表理解、视觉定位、空间推理、医疗理解、计算机使用和乐谱阅读。博客还记下一个副产品:activation gradient clipping(激活梯度裁剪)被当作数据质检工具,曾从代码数据里揪出一条许可头被拦腰截断的样本,顺藤摸瓜定位到预处理管线的一个 bug——现已修复。
商业路径也随之清晰:博客称,端到端拥有模型管线让微软能通过 Foundry 把模型权重授权给「可信伙伴」,为企业客户提供可信赖的模型来源。
为什么要自己造基座:从 Copilot 改组到「每个模型都可替换」
MAI-Base-2 背后是微软今年的一系列组织与战略调整。3 月,微软合并了商用与消费两线 Copilot 团队,把 Suleyman 调入「超级智能」部门,专注造模型(Business Insider)。6 月,MAI 家族亮相:MAI-Thinking-1 在 MAI-Base-1 之上后训练而来;Suleyman 当时这样描述这套体系的目标——「这一切是为了微软和我们伙伴的长期自给自足,是为了可信赖的模型。我们要造一台『爬山机器』:一个能周期接周期持续改进的组织,靠的是更多算力、更好的数据和更锋利的评估。」
自研基座动的是微软与 OpenAI 关系的敏感处。微软仍是 OpenAI 的主要云伙伴,在 Azure 上分销其模型,Copilot 也在用,技术权益延续到 2032 年,持股据报道价值约 1,350 亿美元();Business Insider 提醒,公开强调伙伴模型的局限,可能反过来损伤这笔投资的价值。但方向早已定调:CFO Amy Hood 在 7 月 29 日的电话会上把模型多元化称为「利润率改善机会」,Satya Nadella 7 月则说「每个模型都是可替换的」。Suleyman 还说,微软已经「被解放」,可以追求自己的前沿模型雄心。
这笔账有具体的分母:据 24/7 Wall St 的分析,微软 2026 财年资本项目支出达 1,159.5 亿美元,若前沿质量真能用零头算力拿到,每一美元就能撑起更多训练和更多客户;不过微软 AI 业务年化收入在 2026 财年第三季度已超过 370 亿美元,单一模型对成本的改善是渐进的。Cloud Wars 的判断是:如果性能与效率声称经得起独立测试,微软将更独立于 OpenAI,也更像一个直接竞争者。
后训练未完,对比还没有裁判
微软没有给出定价,也没有公开任何基准——24/7 Wall St 直白地总结:这一说法「没有公开基准或发布日期支撑」。市场反应同样克制:10 月 15 日微软股价收涨 1.08% 至 539.44 美元,盘后回落 0.47% 至 536.88 美元,对一家市值 4.01 万亿美元的公司来说近乎无波。OpenAI 至今没有公开确认,也没有公开质疑这一对比。
MAI-Base-2 的后训练仍在进行,微软在博客里预告「很快分享更多结果」,MAI-Base-3 的筹备也已经开始。这些数字的下一次真正检验,要等到后训练完成、模型能被外界评估的那一天。