AREX Feed Article
微软更新 Decision-1 官方对比表:补入 Jev 基准后,校准排名退居第三
微软更新了 中的对比图表,编辑注记显示,本次更新补入了 Jev 1.13.0 的准确率与校准(calibration)基准数据。补入后,Decision-1 在微软自己的对比里仍是准确率第一、实测速度最快,但校准排名从第二退到第三,落后 Jev 1.5 分。
Microsoft-Decision-1 是微软 10 月 9 日发布的决策评分模型,由 Qwen3.5-9B 后训练而来;在分类、路由、打分、验证、优先级排序等结构化步骤里,它返回每个选项的校准概率供应用直接使用,不生成文本。模型在 Microsoft Foundry 与 OpenRouter 提供,输入每百万 token 收费 0.042 美元、输出免费。
编辑注记补入的分数:准确率 82.3%、校准 93.7
更新后的对比图里,Jev 1.13.0 有了两项新分数:准确率 82.3%,仅次于 Decision-1 的 83.5%;校准分 93.7。更新前,Jev 没有这两项分数:准确率一栏标注 not ranked(未参与排名),校准一栏标注 not scored(未评分),只有延迟一栏有数值(240 毫秒)。随文使用的对比图(图注署名 Microsoft Command Line)记录了这个版本:页脚写的是「校准分第二,落后 Quyet 0.9 分」。
图表的脚注还说明:准确率取 36 项基准、147,137 道题的均分;延迟取自 JevBench v1.6.1 的调整中位数(10 月 7 日核验);部分模型旁的排名标注来自 10 月 8 日的 JevBench 榜单。这页博客的署名日期为 2026.10.09;页面结构化数据里,截至本文发稿的最后修改时间为 2026-10-10T16:31:24Z(北京时间 10 月 11 日 0:31)。
校准分:92.2 分没变,Jev 的加入改变了排名
更新后的校准分排行是:Jev 1.13.0 居首,Quyet-1.0-Large 93.1 分第二,Decision-1 92.2 分第三。校准分的坐标轴从 80 分起,页脚称所有模型都距满分不到 17 分。
Decision-1 的校准分在更新前后没有变化,变化来自 Jev 的加入。微软在博客里解释了校准的作用:模型给出的概率本身就是 API 的一部分,应用靠置信度决定何时行动、暂缓或送审,「在代表性样本上,90% 的预测应该有约九成是对的」;100 分意味着置信度与实际正确频率完全吻合。
把 Decision-1 加入 Foundry 目录的则建议开发者:当置信度估计会影响自动化或复核阈值时,要用自己的数据验证校准。
「最快」的对照对象:从 Quyet 换成 H2O-Lightning-4B v1.1
更新后的页脚在速度一项上写着:Decision-1 实测速度最快,比第二名 H2O-Lightning-4B v1.1 快 2.5 倍,比 GPT-6 Sol 快 35 倍。图表中对应的 P50 延迟分别是:Decision-1 85 毫秒、H2O-Lightning-4B v1.1 210 毫秒、GPT-6 Sol 3.01 秒。
发布时的口径与此不同:10 月 9 日,转述微软数字称「比第二名快 4.5 倍、比 GPT-6 Sol 快 35 倍」;The Verge 报道所用图表的页脚写的是「比第二名 Quyet-1.0-Large 快 4.5 倍」。
对比表之外:未被纳入的 Clef 与微软自述的数字
称,OpenAI 与 Cloudflare 都已有同类模型,Jev 则是这条路线上的「原版」,也是 9 月中旬带起这轮决策模型趋势的创业公司;该媒体还指出,Cloudflare 同样基于 Qwen 的开源 Clef 模型没有被纳入微软这次对比。The Verge 则提到,微软这次发布距 OpenAI 强调其新的 Decisions API 只有几天。
微软在博客里表示,后续会继续更新该模型、纳入更多评估与数据,以优化质量、置信度与成本。上述分数与倍数都出自微软自己发布的对比;The Verge 与 The Decoder 在报道中也把这些性能结论标注为微软的说法。