AREX Feed Article
Artificial Analysis 首评 DeepSeek-V4.1-Flash-1017:45 分并列开源第二,两款更强模型单任务成本更低
10 月 19 日 16:25 UTC(北京时间 10 月 20 日 0:25), DeepSeek-V4.1-Flash-1017 在该机构智能指数上的第一个分数:45 分,比上一版 DeepSeek V4.1 Flash 高 6 分,在开源权重模型中与 GLM-5.3 并列第二,比 MiMo-V2.6-Pro 低 1 分。同一份评测给出的单任务成本是 0.26 美元;分数在它之上的 MiMo-V2.6-Pro 与 GPT-6.1 Sol,单任务成本都比它低。
DeepSeek 在 10 月 17 日以 MIT 许可放出这个 checkpoint 的权重,模型卡标注 1M token 上下文,称新版在性能与成本上是「帕累托改进」。
45 分由哪些评测合成
AA 的智能指数 v4.3.2 由 10 项评测合成:AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience 与 AA-LCR v1.1。按 AA 公布的分项:AA-Omniscience 的非幻觉率从 4% 升到 33%,准确率从 43% 升到 46%,该项指数从 -5 变成 +5;GDPval-AA v2.1 的 Elo 从 1,600 升到 1,746,AA-Briefcase v1.1 从 1,420 升到 1,570,CritPt 从 14% 升到 24%。
把被测配置标为 max 档,给出输出速度 230.4 token/秒,并列出排在它前后的模型:MiMo-V2.6-Pro 46 分、与它同为 45 分的 GLM-5.3,以及 44 分的 Step 5 Preview 与 Kimi K3。
帕累托图的两种画法
DeepSeek 官方发布说明里有一张 DeepSWE v1.1 的 Pass@1 对单任务平均成本图,横轴为对数刻度:1017 在 max 档标到 77.0%,落在约 0.2 美元处,位于虚线框出区域的左上角,用来支撑「帕累托改进」的说法。
AA 用的是另一套任务。45 分对应的 0.26 美元,是按 AA 指数任务加权平均的成本;它的对照很直接:MiMo-V2.6-Pro(46 分)0.13 美元、GPT-6.1 Sol(medium,48 分)0.21 美元,两者都以更低的单任务成本提供更高的能力。AA 也给出了有利的对照:GLM-5.3-Flash 为 42 分、0.28 美元,1017 的分数更高、单任务成本更低。
价格没有随版本变化:官方 API 峰值每百万 token 输入 0.30 美元、输出 1.20 美元,非峰值半价,缓存命中 0.006 美元/百万 token(AA 计算为 98% 折扣)。AA 列出的上线渠道包括 DeepSeek 自家 API、Fireworks、Baseten、DeepInfra、wafer_ai 与 Cloudflare 等。
Agent Arena 的同日结果与未定义的基线
同日 18:18 UTC,Arena.ai 在 Agent Arena 榜单上把 列为排名第一的开源模型、总榜第 11,依据是 7,500 多场真实会话的净提升 +5.1%,每任务中位成本 0.20 美元。Arena 的说法是,这相当于用 GPT-6.1 Sol 约 27% 的成本拿到其约 37% 的提升幅度。
分项上,Arena 列出确认成功率第 8(+11.5%,开源第一)、好评减差评第 11(+5.9%)、Bash 可靠性第 12(+5.4%)、可操控性第 13(+2.5%),并称未发现工具幻觉问题。
「净提升」的基线没有在这条帖子里定义。 +5.1% 是相对上一版 DeepSeek 还是榜单平均值;则问 7,500 场会话的停止条件如何设定、有多少场撞到工具调用上限。Arena 的公告没有解释这两点。
这两组成本不能直接比较:AA 的 0.26 美元是指数任务的加权平均值,Arena 的 0.20 美元是会话任务的中位数,任务集和统计方式都不同。
552B、763B 与对不上的 748B
AA 列出的规格是 552B 总参数、16B 激活、MIT 许可、1M 上下文。顶部标注的参数量则是 763B。给的拆法是 552B 主干加 196B Engram 参数,两者相加为 748B,与 763B 差 15B。
两个数都能在公开页面上找到,但按这些页面的文字,两者无法直接对上。模型卡能确认的是许可与上下文:仓库与权重均为 MIT,推荐 max_tokens 不低于 256K;参数量一栏仍只有 763B 一个数字,没有拆分。