AREX Feed Article
Arena 与 Parallel 同日评测:DeepSeek-V4.1-Flash-1017 在两个榜单上位列开源模型第一
10 月 18 日 17:25 UTC,搜索基础设施公司 Parallel Web Systems 在 X 上称,DeepSeek V4.1 Flash (1017) 是该公司测过的性能最高的开源模型,也是第一个进入其搜索能力榜前十的开源模型()。约一个半小时后,评测平台 Arena.ai 给出另一份结果:DeepSeek-V4.1-Flash-20261017 (Max) 成为 Code Arena: WebDev 榜上排名第一的开源模型,总榜第 12,1,670 分()。
被两份榜单同时点名的模型,是 DeepSeek 在 10 月 17 日 08:35 UTC 上线的新版本。官方发布帖称它比上一版基准更强、任务完成更快、输出更短,是「性能与成本的帕累托改进」();Hugging Face 模型页标注 MIT 许可、763B 参数,推荐 1M token 上下文()。两份第三方排名都在发布次日出现,彼此独立,测的却不是同一种能力。
搜索榜第 10 名:前十名里第一个开源模型
Parallel 的 Search Capability Leaderboard 用一组检索任务衡量模型调度搜索、再把结果合成为答案的能力,榜单同时收录开源与闭源模型。该公司的模型卡片显示,DeepSeek-V4.1-Flash-1017 得 68.9 分,同一模型不用搜索时为 32.9 分,提升 36.0 分;每 1,000 次任务花费 125 美元,平均每次任务 540 秒,在 Search Efficiency 分项上排第 4()。
榜首是 Claude Opus 5.5,带搜索得分 75.4;前十名其余九席全部是闭源模型。分项成绩上,DSQA 带搜索 84.6、不带 46.6,HLE 53.0 对 40.0,WISER 69.0 对 12.0()。搜索带来的平均提升在该榜全模型范围内是 34.0 分,1017 的 36.0 分略高于这一平均值。
WebDev 榜:Arena 对比的是 Opus 5 的 High 档
Arena 的 Code Arena: WebDev 按社区用户对前端网页开发任务的投票排位,10 月 19 日页面显示累计 903,893 票、149 个模型()。Arena 在帖文里的说法是:该模型以约十分之一的成本超过 Kimi K3 (Max),排名高于 Claude Opus 5 (High),与 GPT-6 Sol (Max) 的差距在 10 分上下,比上一版 20260910 提高 52 分。
「十分之一」对应的是标价。Arena 给出的价位是每百万 token 输入 $0.30、输出 $1.20,榜上 Kimi K3 (Max) 标 $3/$15,输入侧正好差 10 倍()。Arena 称它在这个价位上改写了帕累托前沿,意思是同一价格上找不到更强的模型、同一水平上找不到更便宜的模型。
Arena 的榜单会随投票变动:帕累托页面在 10 月 19 日显示同一模型为 1,664 分,与帖文里的 1,670 分已有出入。
分数涨 6.2,每千次任务的账单涨到 3.5 倍
Parallel 在同一串帖里补了一句:新模型「仍然是帕累托最优,研究能力有提升,但单任务成本高于最初版本」,现在与 GPT-6.1 Sol 的端到端成本和能力相当()。榜上数据可以对上:上一版 V4.1 Flash 为 62.7 分、每 1,000 次任务 35.8 美元,1017 为 68.9 分、125 美元;GPT-6.1 Sol 为 70.4 分、130 美元。
分数多了 6.2,每千次任务的花费约为原来的 3.5 倍。125 美元里,模型推理 58.2 美元、搜索调用 21.6 美元、网页抽取 45.4 美元,后两项合起来超过一半;Parallel 既提供搜索也提供网页抽取,这两项开销都算在单任务成本里。
DeepSeek 的发布帖说的是「任务完成更快、输出更短」。在 Parallel 这套任务上,1017 平均每次 540 秒,上一版 549 秒,几乎没有变化。两套任务不同,不能和 DeepSeek 的自测直接对账,但这是把速度与花费放在同一张表上的公开数据。
同一款模型,按 token 标价比 Kimi K3 (Max) 低一个数量级,按 Parallel 的任务账单比自己的上一版贵,差别在计价单位。
厂商的 Terminal-Bench 数字,两个榜单替代不了
DeepSeek 在模型页自报的基准里,Terminal-Bench 4.0 从 31.2 升到 42.3,DeepSWE v1.1 从 74.2 升到 77.0,并注明前者用 Claude Code harness、后者用 Mini-SWE-V2 harness()。Arena 评的是用户对网页开发结果的偏好,Parallel 评的是检索与合成,都不能替代 Terminal-Bench 与 DeepSWE 这类编码基准。
两个榜单回答的是各自任务上的名次;模型页上那两行编码基准,仍要按厂商自报来读。