AREX Feed Article
JetBrains 发布 Mellum2.1:12B MoE 架构未变,真实环境 RL 把 SWE-bench Verified 自评成绩从 2.0 提到 47.0
JetBrains 在 10 月 8 日的发布 Mellum2.1:这是它 6 月开源的 12B MoE(混合专家)编码模型 Mellum2 的新版本,每个 token 激活 2.5B 参数,沿用 Apache 2.0 许可。架构没有改动,改动集中在预训练之后:JetBrains 用一个夏天的强化学习(RL),在数千个环境里跑了数百万次沙盒任务,让模型学会在代码仓库里探索、编辑文件,并检查自己的修改。
JetBrains 公布的对比里,六项中增幅最大的一栏是 agentic coding(智能体式编码):SWE-bench Verified 从上一版的 2.0 升到 47.0。这些基准数字均由 JetBrains 自己评测并发布。
RL 从收尾阶段变成训练主体
发布文由 Bulat Salimzianov 署名,其中对上一版的评价是:Mellum2 速度快,但达不到 JetBrains 想要的「在仓库里工作」的水平。
2.1 版的工作几乎全部放在后训练上,主要是 RL。按发布文的说法,RL 从训练末尾的一个短阶段变成了训练的主体;任务集新增数学、竞赛编程、科学、工具调用和软件工程方向,来源是开放的 RL 数据集加上 JetBrains 自建的任务,每条数据在进入训练前都做过过滤,剔除开放数据里常见的失效测试、无法验证的答案,以及过易或不可能完成的任务。为训练 agentic 技能,JetBrains 自建了可同时运行数千个 RL 环境的基础设施,训练过程中启动了数百万个沙盒。
四款模型、同一套设置下的六项成绩
发布文称,对比在同一套评测设置下进行,参与的四款模型是 Mellum2.1、Mellum2,以及 JetBrains 选定的两款同类开源模型 Qwen3.5-9B 和 Gemma 4 E4B。六项成绩为:LiveCodeBench v6 82.0、AIME 25/26 83.3、GPQA Diamond 64.6、BFCL v4 62.3、IFEval 90.6、SWE-bench Verified 47.0,比 Mellum2 分别高出 12.6、23.2、13.6、12.7、11.1 和 45.0 分。发布文称模型在编码、竞赛编程、数学、工具调用和通用知识上都有提升。图表中四款模型均标注为「Thinking」版本。
六项里领先两项,落后 Qwen3.5-9B 四项
LiveCodeBench v6 一栏,Mellum2.1 的 82.0 高于 Qwen3.5-9B 的 75.4,也高于 Gemma 4 E4B 与 Mellum2 相同的 69.4;BFCL v4 一栏,62.3 高于 Qwen3.5-9B 的 58.5。剩下四项上,同类开源模型的分数更高:AIME 25/26 中 Qwen3.5-9B 为 86.7,GPQA Diamond 中为 77.8(Mellum2.1 为 64.6),IFEval 中为 92.4,且 Gemma 4 E4B 的 90.8 也略高于 Mellum2.1 的 90.6;SWE-bench Verified 中 Qwen3.5-9B 以 50.0 高出 3 分。对这些数字,Mellum2 发布博文作者之一 Nikita Pavlichenko 10 月 8 日在 是,Mellum2.1 「相对其速度」在 agentic coding 基准上取得了高分。
速度对比的硬件与精度条件
速度那一栏标明了测试条件:输出速度按 tokens/s 计,FP8(8 位浮点)精度,输入/输出长度 2,304/256,单张 H200。
单请求(Sync)下,配多 token 预测(MTP)的 Mellum2.1 为 557 tokens/s,不带 MTP 为 339;Qwen3.5-9B 配 MTP 为 426、不带为 241;Gemma 4 E4B 配 drafter 为 607、不带为 232。服务器饱和后的吞吐一栏,Mellum2.1 配 MTP 为 8,533、不配为 7,969,Qwen3.5-9B 为 4,373 和 4,347,Gemma 4 E4B 为 6,618 和 6,099。
JetBrains 由此得出的结论是:重负载下 Mellum2.1 是这组里最快的模型,吞吐接近 Qwen3.5-9B 的两倍;单请求下 MTP 带来约 1.6 倍加速(557 对 339)。发布文称后训练没有改动架构,因此它的基础速度与 Mellum2 相同,MTP 是这次新增的一档。「最快」对应的是服务端饱和那一栏:单请求对比里,Gemma 4 E4B 配 drafter 的 607 高于 Mellum2.1 配 MTP 的 557。
三种用法:子智能体、通用助手、自托管
JetBrains 列出的用途有三类:作为 agentic 系统里「能干的工人」,处理从失败测试的根因定位到起草并检查修复的环节;作为编程之外的通用助手,逐步处理数学与推理难题;以及私有自托管部署,把代码和数据留在自己的基础设施上。
这套定位延续自 6 月 1 日。Mellum 起初是代码补全模型,Mellum2 把范围扩到自然语言与代码,用于路由、问答、子智能体和私有部署,并且不做多模态。JetBrains 当时用「focal model」描述这种取舍:并非每个环节都需要最大的模型,不少步骤重复、对延迟敏感、调用频繁,适合交给一个快速、可路由、可自托管的专用组件。
权重在 Hugging Face,GGUF 与 MTP 的说法不一
发布文称 Mellum2.1 已在 提供,面向 llama.cpp、Ollama、LM Studio 的 GGUF 构建,以及供 vLLM 投机解码使用的 MTP head,都标注为「即将推出」。发布文最后请构建编码智能体、子智能体或自托管工具的人试用并反馈,称反馈会塑造下一个版本。
10 月 8 日当天,Pavlichenko 在 X 上表示权重会以 HF 和 GGUF 两种格式发布,MTP 支持「将在随后几天内到来」。对 GGUF 是否已在发布当天可用,两处说法并不一致:博客写的是「即将推出」,他把 GGUF 权重与 HF 权重并列为这次发布的内容。