AREX Feed Article
百度开放 ERNIE 5.5 Flash Base 基座权重：280B 总参数、14B 激活，33.5T tokens 从零预训练
11 月 5 日，百度在 开放基座模型 ERNIE-5.5-Flash-Base 的权重。据发布页，这是一个稀疏 Mixture-of-Experts（MoE，混合专家）语言模型：总参数 280B，每个 token 激活 14B，在 33.5T tokens 语料上从零完成预训练，训练上下文最高 128K，微调与推理阶段支持 1M token 上下文。这次放出的是预训练结束时的检查点——发布页明确说明，权重「未经任何中训练（mid-training）或后训练（post-training）」。
发布页把这批权重定位为领域适配、指令微调与强化学习研究的共同起点。权重已上架 ，提供 FP8 与 BF16 两种 safetensors 精度，模型卡显示 ModelScope 上有同步版本。与当日均报道了这次发布。
权重停在预训练终点：让开发者自己决定下一步
百度在发布页解释了为什么交出预训练终点的权重：不同领域、推理任务和智能体应用需要不同的数据、训练目标和行为策略，开发者可以直接建立在预训练已经建好的通用能力上，自己选择模型接下来往哪里走。发布页还给出一层研究上的理由——取单一检查点，不同训练方法就能在受控条件下比较，量出每种方法各自带来了什么。页面末尾写道，希望这次发布能让更多开发者省去大规模预训练的成本，把资源花在自己关心的能力、任务和训练方法上。机器之心在报道中补充了这层定位：与面向终端用户的应用模型不同，Base 模型为开发者和企业提供了进一步微调与定制的空间。
落地层面，据发布页与模型卡：SGLang 与 vLLM 都能部署该模型，两者均以 completions API 提供服务；微调示例放在 ；模型卡还提醒一个使用细节——模型要求每个输入以 BOS token（句首标记）开头，分词时需保持 add_special_tokens=True。
43 层主干：37 层看 128 倍压缩的历史，6 层保留逐 token 访问
效率是发布页强调的设计主线：后续训练会反复从模型采样，智能体应用带来多轮交互与长上下文，都在推高算力与显存开销。百度称，模型在注意力、残差连接、MoE 层与输出头每个组件上重算了能力与效率的权衡，把激活算力、KV cache（键值缓存）和长上下文成本放在一起衡量。
主干共 43 层 Transformer，隐藏维度 4096，64 个注意力头。注意力分两类：37 层采用重度压缩注意力（HCA，Heavily Compressed Attention），把每 128 个 token 压缩成一个缓存条目，再对这些条目加上一小段近期未压缩 token 做注意力——序列仍然全程可见，缓存只占全上下文层的一小部分；其余 6 层用多头潜在注意力（MLA，Multi-head Latent Attention）加稀疏注意力（DSA），保留对全部历史的逐 token 访问，由轻量索引器给历史位置打分，核心注意力只算得分最高的前 k 个位置，单查询成本不随上下文增长。两类层的头维度也不同：便宜的 HCA 层用 512 维宽头，昂贵的 MLA 层用 256 维窄头。百度称，在同等 KV cache 预算下的预训练对比中，HCA 与 MLA 的组合优于 HCA 与压缩稀疏注意力（CSA）的组合；带 DSA 的 MLA 层以更快的训练速度达到与稠密注意力相当的预训练损失。
注意力内部还有两处改动：门控不再从隐藏状态计算，而是从每层已有的低秩查询潜变量算出，门控投影参数减少 75%（低秩门控注意力）；虚拟头注意力（VHA，Virtual Head Attention）在头与头之间加一层带恒等跳连的低秩混合，推理时融合进注意力算子。
从 Multi-Router 到 ECHO：MoE、输出头与分词器的改动
前馈网络部分，除第 1 层为稠密 FFN 外，其余 42 层均为 MoE 块。每层设 512 个路由专家（激活 top-10）加 1 个共享专家，用辅助损失无关、带偏差校正的负载均衡。专家在 2048 维潜空间中运行，结果经一个共享上投影映射回 4096 维，百度称这大致把 dispatch/combine（专家分发与汇合）通信量与专家 FLOPs 减半。
路由方案方面，发布页称，单一路由器的打分与专家实际效用的相关性偏弱，在中深层尤其明显，而且没被 top-k 选中的专家拿不到梯度，错误选择容易自我强化；Multi-Router 改用多个独立初始化的 sigmoid 路由器共同打分，路由分数与专家效用的相关性明显提高，中深层收益最大，而激活专家数、专家 FLOPs 和通信量都不变。
其余组件：残差连接换成 mHC（Manifold-Constrained Hyper-Connections，流形约束超连接），每层经一个受约束的混合矩阵读写 4 条并行残差流；输出头用 MultiMax，以可学习的分段温度取代单一 softmax 温度，百度称能压掉不合理 token 的长尾、保留多个合理候选，并显著降低预训练损失；多 token 预测（MTP）模块被 ECHO 取代——主干最后一层被复用来预测未来 token，未来 token 的损失直接训练产生下一个 token 的同一批参数，这一层同时充当投机解码（speculative decoding）的草稿模型，百度称它只训练一步就能外推起草多个 token，接受率高于同样条件训练的辅助 MTP 模块。分词器基于 BPE（字节对编码），词表约 20 万（201,216 项），数字从右向左、每最多三位一组切分，例如 1,234,567 被切成 1 / 234 / 567，位值对齐有助于算术与数字密集文本。
模型卡注明了参数口径：280B 总参数包含输入嵌入与输出头；激活参数计入输出头、不计嵌入查找；两者都不含 0.36B 的 ECHO 附加参数。
语料怎么选、训练怎么提速：三个重点方向与两套自研基建
发布页介绍，预训练语料覆盖广泛领域与语言，并重点建设三个方向：网页数据靠多语言抓取、高保真抽取与模型驱动的多维质量过滤；代码数据除静态代码外，还纳入 commit、issue、pull request、代码评审、需求到 PR 的多轮轨迹、生成测试与经 CI 验证的修复，目标指向仓库级推理与智能体软件工程；长上下文数据来自天然长文档、拼接语义相近检索干扰文本的长序列，以及 MRCR 式检索、引用型问答与多跳问答的合成数据。
训练本身用 Muon 优化器与 FP8 混合精度完成，上下文长度在训练过程中逐步扩展到 128K。两套基建是为此自研的：分布式 Muon 把稠密参数同步挪到 MoE 参数已有的跨机同 rank 路径上，合并成一次集合通信，降低数千卡规模下的跨机时延与抖动；显存均衡分片把优化器状态摊到更多 GPU 上，避免个别节点内存溢出、检查点保存缓慢拖长故障恢复。注意力算子 基于 CuTe-DSL，支持 SM90 与 SM100 GPU，head dim 最高支持 576（qk）/ 512（v），百度称在 SM100 上前向最高比 FlashAttention-4 MaskMod 快 175%、反向快 74%。
百度公布 30 项基准对比：领先与落后都在同一张表
百度在发布页公布了七个能力类别、共 30 项基准的评测，对比对象是三个规模相近的基座模型：DeepSeek-V4-Flash-Base（284B 总参、13B 激活）、Hy3-preview-Base（295B、21B）与 MiMo-V2.5-Base（310B、15B）。四款模型均从各自公开发布的检查点出发，用同一评测框架、提示词与 few-shot 设定，自由问答用同一个 LLM（大语言模型）评判。机器之心把这组结果概括为「在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现」。
几组有代表性的数字：MMLU 93.3，高于三个对手的 89.4、87.5、87.6；MMLU-Pro 78.4，比次名 DeepSeek-V4-Flash-Base 的 69.2 高出 9.2 分；GPQA 60.2；代码基准中 HumanEval+ 82.3、MBPP+ 81.5、LiveCodeBench 40.1 在四款模型里最高；长上下文方面 RepoQA 91.7、LongBench-v2 48.7、HELMET-ICL 85.9 领先。表里也有落后项：ChineseSimpleQA 73.0 低于 DeepSeek-V4-Flash-Base 的 75.3，HELMET-Rerank 56.2 与 InfiniteBench 46.5 分别低于 DeepSeek 的 60.0 与 48.0，BBH（CoT）89.2 与 FullStackBench 54.6 低于 Hy3-preview-Base 的 90.0 与 56.7。
发布页对长上下文表现给出一句解释：尽管多数注意力层在压缩 128 倍的序列上工作，6 层 MLA-DSA 已足以支撑全部六个长上下文基准。上述数字均出自百度发布页口径。
文心 4.5 开源约 16 个月后，权重再度开放
2025 年 6 月 30 日，百度曾把文心 4.5 系列的 10 个变体开源，最大 424B 参数，采用 Apache 2.0 许可（）。这次 ERNIE 5.5 Flash Base 距那轮发布约 16 个月，许可换成 ；IT之家与机器之心的报道均以「开源」描述这次发布。
发布页最后写道，这个基座模型只是起点，经过后训练的 ERNIE 5.5 Flash 将随后推出。