AREXOpen in interactive Feed

AREX Feed Article

ARC Prize 公布 DeepSeek-V4.1-Flash-1017 评测:ARC-AGI-2 78.1%,单题 0.16 美元

October 23, 2026

10 月 22 日(UTC),ARC Prize 在 X 上公布了对 DeepSeek-V4.1-Flash-1017 的 (ARC 的 Verified 口径):ARC-AGI-2 得 78.1%,平均每题 0.16 美元;ARC-AGI-1 得 94.5%,每题 0.06 美元。同一条帖文给出 Flash 系列的轨迹:ARC-AGI-2 最高分从 V4 Flash 0731 的 61.4%、V4.1 Flash 的 72.9%,升到这一版的 78.1%。

该模型由 DeepSeek 在 10 月 17 日发布,权重以 MIT 许可开放,标注 763B 参数、推荐 1M token 上下文。模型卡上的自报基准表列了 11 项,其中没有 ARC-AGI;ARC 的这份结果给出了该模型在抽象推理基准上的独立数字。

两个基准的最高分,落在不同档位

按四个推理档位拆开了分数与单题成本:

档位ARC-AGI-1ARC-AGI-2ARC-AGI-2 单题成本
max93.5%78.1%0.16 美元
high94.5%68.6%0.15 美元
low91.5%73.6%0.13 美元
none5.7%2.1%0.01 美元

页面顶部的结论是「最佳 Semi-Private(半私有测试集)成绩为 ARC-AGI-1 的 94.5%(high 档)与 ARC-AGI-2 的 78.1%(max 档)」。两个基准的最佳档位并不一致:ARC-AGI-1 上 high 比 max 高 1 个百分点,单题还便宜约 0.01 美元。

ARC-AGI-2 上的倒挂更明显。high 档 68.6%,比 low 档的 73.6% 低 5 个百分点,单题成本却从 0.13 美元升到 0.15 美元。给出任务级拆分:ARC-AGI-2 上,high 相对 low 在 12 道题上更差、8 道更好、100 道持平,计入部分分后整体低 5.0 个百分点;相对 max 则是 18 道更差、5 道更好、97 道持平,低 9.4 个百分点。ARC 的跟帖只列了这些对比,没有给出原因。

结果页同时公开了逐题通过情况:ARC-AGI-2 公共测试集 120 题、ARC-AGI-1 公共测试集 400 题,每个档位每道题的通过与否都可查。把档位从 low 拧到 high,在 ARC-AGI-2 上是更贵且更差的选择。

帕累托改进要看从哪一代算起

涨分集中在 ARC-AGI-2。ARC-AGI-1 的最高分从 9 月的 V4.1 Flash 起就停在 94.5%,这一版没有越过。

单题成本走的是另一条线。三次快照在 ARC-AGI-2 上的最高分,对应的单题成本依次是 0.04、0.13、0.16 美元(、)。这三代之间,API 标价也从每百万 token 输入 0.13、输出 0.26 美元涨到 0.30/1.20 美元,单题成本的比较里混着价格调整。

把范围收窄到 V4.1 这一代,账更整齐:从 V4.1 Flash 到 1017,ARC-AGI-2 从 72.9% 升到 78.1%,单题多花约 0.03 美元;ARC-AGI-1 同为 94.5%,单题从 0.07 美元降到 0.06 美元。DeepSeek 在模型卡里把这一版描述为缩短执行时间与输出长度、在多个 agent harness(代理执行框架)上推进「性能—成本帕累托前沿」。在这一代内部,多花的钱换来的是 ARC-AGI-2 的分数;把三代放在一起,单题成本仍是抬升的。

16 个百分点的差距,9 美分的价差

同为 ARC 口径, 的 ARC-AGI-2 成绩是 94.2%、单题 0.25 美元, 是 93.3%、单题 0.41 美元。DeepSeek 的 78.1% 比 GPT-6.1 Sol 低 16 个百分点,单题便宜约 9 美分。

这 9 美分的差距和单价差不成比例。GPT-6.1 Sol 每百万 token 输入 2 美元、输出 10 美元,输入价约为 DeepSeek 0.30 美元的 6.7 倍,输出价约为 1.20 美元的 8.3 倍,单题成本却只高出约 55%。按标价与单题成本倒推,DeepSeek 每道题消耗的 token 要多出数倍:token 单价上的优势,没有等比例落到每道题上。

按分数与单题成本两个维度看,78.1% 对应的是更便宜、也更低分的一段。

ARC-AGI-3 一栏还是空的

结果页上 ARC-AGI-3 标为「—」。ARC 在跟帖里说,会在测试完成后公布这一项。上一版 V4.1 Flash 在该项上的成绩是标准 harness 下最高 0.9%、Provider Adapter harness 下 3.3%;GPT-6.1 Sol 在标准 harness 下是 52.7%。

这份成绩单目前只覆盖 ARC-AGI-1 与 ARC-AGI-2。第三项的数字,要等 ARC 测完。

参考链接

More from this developing story

  • DeepSeek 发布 DeepSeek-V4.1-Flash-1017:官方称更强、更快、输出更短,权重同步开源Oct 17, 2026
  • DeepSeek-V4.1-Flash-1017 安全审查实测:54 个漏洞、7.53 美元,审查成本比上一版低 41%Oct 17, 2026
  • DeepSeek-V4.1-Flash-1017 上架 Ollama Cloud:美国本土托管、零数据保留,附三条接入命令Oct 18, 2026
  • Paweł Huryn 二轮实测 DeepSeek-V4.1-Flash-1017:官方 harness 提分 2~3 分、成本高 80%,并称其为唯一被抓到作弊的模型Oct 18, 2026
  • Arena 与 Parallel 同日评测:DeepSeek-V4.1-Flash-1017 在两个榜单上位列开源模型第一Oct 19, 2026
  • Artificial Analysis 首评 DeepSeek-V4.1-Flash-1017:45 分并列开源第二,两款更强模型单任务成本更低Oct 20, 2026
  • ARC Prize 公布 DeepSeek-V4.1-Flash-1017 评测:ARC-AGI-2 78.1%,单题 0.16 美元
Oct 23, 2026
  • Artificial Analysis Cyber Index 评测:DeepSeek-V4.1-Flash-1017 以 57% 成公开可用模型第一Oct 23, 2026