AREX Feed Article
Artificial Analysis 独立评测 Muse Spark Open:39 分领跑美国开放权重,四项 agentic 评测在头部开源模型中垫底
北京时间 10 月 16 日 8 时 41 分,独立评测机构 在 X 上发布对 Meta 开放权重模型 Muse Spark Open 的评测:AA Intelligence Index 得分 39,是其榜单上美国开放权重模型的最高分;但同一份评测也指出,在指数包含的四个 agentic(智能体任务)评测上,这个模型在分数最高的九个开放权重模型中排名垫底。Artificial Analysis 说明,Meta 在公开发布前向其提供了模型访问权限,用于基准测试。
Muse Spark Open 的权重于 10 月 15 日由 Meta 发布:816B 总参数、每个 token 激活 42B,1M token 上下文窗口,原生支持文本、图像、视频与音频输入,面向编码与 agentic 工作,。Meta 的自报 AA Intelligence Index 为 39 分,低于表中 GLM 5.3 的 45 与 Kimi K3 的 44; 在 15 日发稿时明确写道,发稿时无法核实针对已发布权重文件的独立 Artificial Analysis 评估。
VentureBeat 无法核实的评估,由 Artificial Analysis 自己发布
五个半小时后,这个空缺有了答案。VentureBeat 于 15 日 19:05(UTC)发稿时,能引到的 39 分只有 Meta 自己的表格;16 日 00:41(UTC),Artificial Analysis 发帖给出了自己的数字:同为 39 分(xhigh 推理档,模型的最高推理力度档),Meta 自报的分数与独立实测一致。
Artificial Analysis 同时给出了 39 分的坐标:这一分数高于 NVIDIA 同日发布的 Nemotron 3.5 Super VL(26 分),AA 称后者是榜单上第二高分的美国开放权重模型;比 Meta 8 月开放的 30B 稠密模型 Muse Glimmer(17 分)高出 22 分;与 Meta 8 月旗舰 Muse Spark 1.2(xhigh 档 40 分)相差不到 1 分。逐项对照 Spark 1.2,Spark Open 在 AutomationBench-AA 上更强、幻觉率更低,但在 GDPval-AA v2.1、CritPt 与 AA-Omniscience 准确率上更弱。而在 Meta 自己的产品线内部,39 分仍落后 Muse Wonder(52 分)13 分、落后 Muse Wonder Full(56 分)17 分。VentureBeat 指出,AA 对 Spark 与 Wonder 的评测针对的是各自托管版本,与本次开放权重发布不属同一对象。
Artificial Analysis 官网的 已同步上线,除 39 分外还列出每秒 102.0 输出 token 的实测速度和每任务 $0.84 的成本,与推文口径一致。
GLM-5.3 领先的 6 分,全部来自 agentic 评测
Meta 把这个模型定位为面向长程任务、复杂软件工程与多步推理的 agentic 工作模型,Artificial Analysis 的评测切中的正是这一项:在分数最高的九个开放权重模型中,Muse Spark Open 在指数的四个 agentic 评测上排名垫底,其余六项合计排第四;它在 AA-Omniscience(25 分)上是全部开放权重模型中的最高分。AA 还算了一笔账:按体型与它最接近的中国模型 GLM-5.3(max 档 45 分),对其 6 分的领先全部来自 agentic 评测。
这个格局与 Meta 模型卡自报的分项数据对得上。模型卡表格里,Muse Spark Open 以 89.2 领先 MCP-Atlas 工具使用测试、以 61.8 领先 JobBench,高于表中的 GLM 5.3 与 Kimi K3;但在 Terminal-Bench 2.1 上只有 76.4,低于 GLM 5.3 的 83.9 与 Kimi K3 的 85.0,DeepSWE 1.1 上 60 对 Kimi K3 的 68,GDPVal-AA v2 上 1,401 对 GLM 5.3 的 1,653,同样落后。
AA 给出成本账:每任务输出 40k token,花费 $0.84
这份评测还带来了模型卡里没有的运营数据。Artificial Analysis 测得 Muse Spark Open 每个 Intelligence Index 任务输出约 40k token,是分数最高的九个开放权重模型中最少的:比 Muse Spark 1.2(48k)少 16%,比 GLM-5.3(71k)少 43%。按 Together AI、Fireworks AI 与 Baseten 的上线定价(每百万输入 token 1.25 美元、输出 4.25 美元、缓存输入 0.15 美元),单个任务花费 $0.84,低于 Muse Spark 1.2 同价下的 $0.97,不到 GLM-5.3($2.01)的一半,约为 DeepSeek V4.1 Flash($0.27)的三倍。
自托管方面,AA 给出的权重体积为 NVFP4 约 530GB、BF16 约 1.6TB,NVFP4 版本只对 256 个专家做量化。AA 转述 Meta 的说法:NVFP4 版可在 4 张 Blackwell Ultra 或 8 张 H200 GPU 上运行,或在两台 512GB 统一内存的 M5 Ultra Mac Studio 上以 MLX 运行;模型卡则要求运行 NVFP4 版本至少 700GB 显存、BF16 版本 2TB。桌面方案还差一步落地:的 M5 Ultra Mac Studio 最高配到 512GB 统一内存,但据 VentureBeat,这一内存配置要 10 月下旬才发货、价格尚未公布;VentureBeat 给出的参考是,四台 256GB 版(每台 $10,799)可凑出同样的 1TB 内存,合计约 $43,196。
「最强」限定在美国:六个开源模型排在它前面
在 AA 的指数口径下,Meta 宣称中「美国第一」的部分拿到了独立背书,评测同时量出了边界。据 VentureBeat 引述 Artificial Analysis 的已公布榜单,六个开源模型的分数高于 39:小米 MiMo-V2.6-Pro 46 分、GLM-5.3 45 分、Kimi K3 44 分、GLM-5.3-Flash 42 分、Qwen3.8 2.4T A95B 与 Qwen3.8-Flash-Next 各 40 分。「迄今最强」的说法成立与否,取决于「美国」这个限定词,而模型主打的长程 agentic 编码,恰是它与榜首差距最集中的地方。
从沿革看, 报道,Muse Spark 自 2026 年 4 月首次亮相以来一直是专有模型,Meta 上一次开放权重是 8 月的 30B Muse Glimmer,本次开放版以 Muse Spark 1.2(8 月)为起点、另加安全后训练。VentureBeat 援引 Interconnects 作者 Nathan Lambert 在 X 上的发帖:「我等了太久,美国开放权重模型才重新有了竞争力。要做的工作还有很多!」
Muse Spark Open 的权重现已可在 Hugging Face 下载,分 BF16 与 NVFP4 两种版本,API 则经 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 与 Together AI 提供。AA 评测发布不到两分钟后,Alexandr Wang 在 X 上:「lmao muse spark open balling out」,帖文未说明其所指的具体事件。SiliconANGLE 并援引 Meta 的说法:Muse Spark Open 已通过其 Superintelligence Scaling Framework 的发布门槛,完整的评估报告尚未发布。