AREX Feed Article
Meta 公布 Muse Glimmer 30B 技术报告：蒸馏与 4-bit 量化配方公开，自评工具使用领先同规模开放模型
北京时间 10 月 20 日凌晨，Meta 官方 AI 账号 ，为旗下面向智能体（agentic）任务与消费级硬件的 30B 开放权重模型 Muse Glimmer 发布技术报告。帖文称，该模型以 4-bit 精度运行时，凭单张消费级 GPU 即可在 Mac 或 PC 上以实用速度运行，并在工具使用（tool use）与多步规划（multi-step planning）上领先规模相当的开放模型。Meta AI 研究出版物页面已上线，页面标注日期为 2026 年 10 月 19 日，署名 Muse Glimmer 团队。
帖文本身没有给出基准分数，也没有点名对比对象。已发布的技术补上了这两块信息：对比对象是 Gemma4-31B 与 Qwen3.6-27B 两款同规模开放模型，具体分数列在报告各节的表格里。
模型 8 月就已开源，这次补上的是训练方法
Muse Glimmer 并非新面孔。8 月 10 日，同一个 宣布以 Apache 2.0 许可开放这批 30B 权重，定位为本地、常开（always-on）的智能体工作流；标注的模型发布时间为 2026 年 8 月。10 月 19 日上线的技术报告补的是方法：模型如何从更大的教师模型蒸馏出来，又如何被压进消费级设备的显存。
报告由 Meta Superintelligence Labs 的 Muse Glimmer 团队撰写，核心贡献者名单里能看到 Hugo Touvron、Luke Zettlemoyer、Rob Fergus 这些名字。正文依次覆盖架构、评测、预训练、后训练、数据、推理优化与信任考量等章节，附录 A 逐项写明每个基准的跑法与分数来源——哪些由 Meta 内部运行、哪些取自第三方、哪些来自对手自报，都有交代。
32GB 显存上限下，Meta 为 Muse Glimmer 选定稠密架构
报告称，首要设计约束是严格限定在 32GB 显存以内，并把这一上限称为消费级硬件的实际天花板。为在这个预算内选型，Meta 训练了多组递进缩放的架构梯子，在推理显存固定的前提下比较稠密（dense）基线与两种路由稀疏度的混合专家（MoE，mixture-of-experts）设计：稠密梯子的每参数训练词元数（TPP）为 550，MoE 梯子分别为 2,800（1:8 稀疏）和 6,000（1:16 稀疏）。缩放曲线显示，在训练算力与参数量双重约束下，稠密配置的计算效率比 MoE 高 2～2.5 倍，团队据此选定了稠密 30B 设计。
最终架构的总参数约 29.6B：52 层 Transformer 主体占 25.16B（隐藏维度 6,656），不共享的输入与输出嵌入各约 1.34B，词表 202,048，沿用了 Llama 4 的 BPE（字节对编码）分词器。注意力采用分组查询注意力（GQA，grouped-query attention，32 个查询头对 2 个 KV 头），按「三层局部、一层全局」循环并配 2,048 token（词元）的滑动窗口，用以约束长会话中键值缓存（KV cache）的膨胀；旋转位置编码（RoPE）只加在局部层上。报告还测试了在全局层用简化版多头潜在注意力（MLA）压缩 KV 缓存的两种配置，结果在 RULER 等长上下文基准上都不如 GQA，遂放弃。
多模态能力来自一个约 1.8B 参数的 ViT-G/14 感知编码器，训练全程冻结：图像按 448px 参考网格以原生分辨率处理，经 2×2 像素洗牌（pixel-shuffle）和两层 MLP（多层感知机）适配层接入语言模型，一张 448×448 图产生 256 个视觉 token，单图上限 4,096 个。模型接受文本与图像交错输入、输出文本，报告称支持约 140 种语言。
蒸馏配方：95% 的预训练只对 Muse Spark 的 top-256 logits 做 KL
教师模型是 Meta 的前沿级模型 Muse Spark。报告称采用协同蒸馏（co-distillation）：在 Muse Spark 预训练期间记录其 top 256 个 logit（模型输出层的未归一化分数），作为学生模型的训练信号；预训练前 95% 的损失只有 KL 散度，最后 5% 切换为只对真实目标算交叉熵，以纠正 top-k logit 蒸馏固有的截断偏差。预训练结束时做检查点平均（俗称 souping）：最后 5% 的训练每 200 步存一个检查点，共 84 个，最终配方是取最后一个检查点与其前三各间隔 600 步的检查点做均匀平均。
中训练分两段：第一段注入领域数据与合成推理轨迹；第二段把上下文从 32K 扩到 128K，并加入工具使用与智能体轨迹数据——这一段改用交叉熵损失，理由是分布漂移之后教师 logit 不再可靠。后训练依次经过监督微调（SFT）、在线策略蒸馏（on-policy distillation，学生自己采样轨迹、教师在学生到访过的前缀上逐 token 给出分布目标）和多目标强化学习（RL）；报告称，先经在线策略蒸馏再进 RL，效果稳定好于从 SFT 直接进 RL。推理时，模型通过系统提示词里的「Reasoning strength」支持 low/medium/high/xhigh 四档思考预算，智能体任务默认 high。
合成数据管线是配方里最具体的部分：团队在 Docker 容器里搭建模拟邮箱、日历、文档、WhatsApp、代码仓库和命令行的虚拟环境，每个虚拟用户挂着 10～14 个联系人的社交网络，让智能体在其中生成轨迹。一条后处理规则是「不良行为屏蔽」（undesirable behavioral masking）：即便智能体最终完成了任务，被判定为不良的工具调用、记忆搜索查询等片段也不参与训练损失。letsunifyai 创始人 Daniel Lenton 在帖文下说，他欣赏的正是这一点——坏调用被屏蔽、整段轨迹保留，模型仍在「察觉错误并恢复」的那些轮次上学习。
55.7GB 权重压进 20GB 以内，DFlash 投机解码最高提速 3.1 倍
BF16（16 位浮点格式）精度下 Muse Glimmer 的权重占 55.7GB，而部署目标是 24GB 或 32GB 显存，还要给未量化的 KV 缓存、起草模型和感知编码器留出空间，因此语言模型权重必须压到 20GB 以内。报告以留出验证（held-out）的文本与代码数据上相对 BF16 的负对数似然变化（ΔNLL）为准绳，比较了 GPTQ、AWQ、llama.cpp 的 Q4_K_M、均匀 NVFP4 与 MXFP8，以及动态分配的 Greedy-KL 与进化搜索方法 EvoPress 等多套后训练量化（PTQ）方案。
胜出的是两套：EvoPress 的验证损失最低，被选为 32GB 部署方案，它把 418 个权重单元分配为 51 个 Q4_K、130 个 Q5_K、237 个 Q6_K，总计 19.65GB；Q4_K_M 占用最小，被选为 24GB 部署方案。帖文里的「4-bit 精度」，在报告中的表述是「约 4-bit」——两套部署方案实际都是 Q4、Q5、Q6 混合的量化配置。15 项下游基准的平均准确率为：BF16 75.7%，EvoPress 75.6%，Q4_K_M 74.8%；报告还称，相对 BF16，所选方案没有出现思维链长度的显著变化。
速度靠投机解码（speculative decoding）：随模型发布的 DFlash 起草器是一个小型块扩散模型，一次前向传播预测整段 16 个 token 的边缘概率，再由主模型并行验证；起草层共 5 层，插在主模型 52 层的第 1、13、25、37、49 层。Hugging Face 模型卡给出的实测（批大小 batch size 为 1、贪婪解码）显示：RTX 5090 上，K-Quant-17GB 量化版配合量化起草器从每秒 74.9 个 token 提到 233.4 个（提速 3.1 倍，llama.cpp 实测）；Mac 侧 M4 Max 为 37.8、M5 Max 为 50.2（ExecuTorch 实测），模型卡给出的提速倍数分别为 1.5 倍和 1.8 倍。报告结论的表述是：配合 4-bit 量化与 DFlash，模型「在单张 RTX 5090 上以实用速度运行，质量损失极小」——帖文里那句「单张消费级 GPU、Mac 或 PC」即由此而来。
成绩单的另一面：自评领先之外，多个项目输给 Qwen3.6-27B
报告的对比设定是：Muse Glimmer 以 high 推理强度，对阵 thinking（思考）模式下的 Gemma4-31B 与 Qwen3.6-27B。「领先」有数据支撑的行包括：工具使用基准 MCP Atlas 上 Muse Glimmer 拿 75.5 分，比 Qwen3.6-27B 的 62.5 高出 13 分、比 Gemma4-31B 的 54.2 高出 21.3 分；智能体通用基准 WildClawBench（47.6 对 37.6/43.2）、GAIA2（43.3 对 36.4/40.0）、τ³-Banking（23.5 对 15.1/16.7）和深度研究基准 DeepSearchQA（74.6 对 61.7/71.1）均居首；多语言智能体基准 Omnilingual GAIA2 上 60.4 分，领先两个对手 15 分以上；AIME 2026 拿到 94.7 分。
但成绩单并非一边倒。Qwen3.6-27B 在 OSWorld-Verified（75.6 对 65.9）、TerminalBench 2.1（60.7 对 51.7）、SWE-Bench Verified（77.2 对 76.0）、GDPval-AA（1141 对 953）和 SkillsBench（46.6 对 44.3）等智能体编程与任务基准上反超；Gemma4-31B 在 GPQA Diamond 和 HLE 上领先，且在隐私违规率（CIMemories violation 12.1 对 26.4）与提示注入攻击成功率（Siren AgentDojo ASR 25.6 对 28.4）两项安全指标上更低。
评测口径也有讲究。附录 A 显示：部分对比分数直接取自第三方 Artificial Analysis，部分来自对手自报（如 Qwen3.6-27B 的 SWE-Bench Verified、两款对手的 AIME 2026），其余由 Meta 内部运行，多数基准跑 3～10 次取平均；多个基准用大语言模型（LLM）评分（GAIA2 用 gpt-oss-120b、MCP Atlas 用 Gemini 2.5 Pro）。报告称所有基准均做过污染筛查。帖文下的反应并不一致：有用户称在自己设备上「慢得离谱，和 Qwen 3.8 27B 一个水平，几乎不可用」——该说法无法核实，回帖中也未说明所用硬件。截至本文检索时，这条帖文显示约 7.4 万次浏览、766 个点赞和 79 条回复。
「实用速度」有报告与模型卡里的具体数字支撑；而「领先同规模开放模型」的每一个分数，目前都出自 Meta 自行运行、采信或转述的评测。