AREX Feed Article
ARC Prize 公布 DeepSeek-V4.1-Flash-1017 评测:ARC-AGI-2 78.1%,单题 0.16 美元
10 月 22 日(UTC),ARC Prize 在 X 上公布了对 DeepSeek-V4.1-Flash-1017 的 (ARC 的 Verified 口径):ARC-AGI-2 得 78.1%,平均每题 0.16 美元;ARC-AGI-1 得 94.5%,每题 0.06 美元。同一条帖文给出 Flash 系列的轨迹:ARC-AGI-2 最高分从 V4 Flash 0731 的 61.4%、V4.1 Flash 的 72.9%,升到这一版的 78.1%。
该模型由 DeepSeek 在 10 月 17 日发布,权重以 MIT 许可开放,标注 763B 参数、推荐 1M token 上下文。模型卡上的自报基准表列了 11 项,其中没有 ARC-AGI;ARC 的这份结果给出了该模型在抽象推理基准上的独立数字。
两个基准的最高分,落在不同档位
按四个推理档位拆开了分数与单题成本:
| 档位 | ARC-AGI-1 | ARC-AGI-2 | ARC-AGI-2 单题成本 |
|---|---|---|---|
| max | 93.5% | 78.1% | 0.16 美元 |
| high | 94.5% | 68.6% | 0.15 美元 |
| low | 91.5% | 73.6% | 0.13 美元 |
| none | 5.7% | 2.1% | 0.01 美元 |
页面顶部的结论是「最佳 Semi-Private(半私有测试集)成绩为 ARC-AGI-1 的 94.5%(high 档)与 ARC-AGI-2 的 78.1%(max 档)」。两个基准的最佳档位并不一致:ARC-AGI-1 上 high 比 max 高 1 个百分点,单题还便宜约 0.01 美元。
ARC-AGI-2 上的倒挂更明显。high 档 68.6%,比 low 档的 73.6% 低 5 个百分点,单题成本却从 0.13 美元升到 0.15 美元。给出任务级拆分:ARC-AGI-2 上,high 相对 low 在 12 道题上更差、8 道更好、100 道持平,计入部分分后整体低 5.0 个百分点;相对 max 则是 18 道更差、5 道更好、97 道持平,低 9.4 个百分点。ARC 的跟帖只列了这些对比,没有给出原因。
结果页同时公开了逐题通过情况:ARC-AGI-2 公共测试集 120 题、ARC-AGI-1 公共测试集 400 题,每个档位每道题的通过与否都可查。把档位从 low 拧到 high,在 ARC-AGI-2 上是更贵且更差的选择。
帕累托改进要看从哪一代算起
涨分集中在 ARC-AGI-2。ARC-AGI-1 的最高分从 9 月的 V4.1 Flash 起就停在 94.5%,这一版没有越过。
单题成本走的是另一条线。三次快照在 ARC-AGI-2 上的最高分,对应的单题成本依次是 0.04、0.13、0.16 美元(、)。这三代之间,API 标价也从每百万 token 输入 0.13、输出 0.26 美元涨到 0.30/1.20 美元,单题成本的比较里混着价格调整。
把范围收窄到 V4.1 这一代,账更整齐:从 V4.1 Flash 到 1017,ARC-AGI-2 从 72.9% 升到 78.1%,单题多花约 0.03 美元;ARC-AGI-1 同为 94.5%,单题从 0.07 美元降到 0.06 美元。DeepSeek 在模型卡里把这一版描述为缩短执行时间与输出长度、在多个 agent harness(代理执行框架)上推进「性能—成本帕累托前沿」。在这一代内部,多花的钱换来的是 ARC-AGI-2 的分数;把三代放在一起,单题成本仍是抬升的。
16 个百分点的差距,9 美分的价差
同为 ARC 口径, 的 ARC-AGI-2 成绩是 94.2%、单题 0.25 美元, 是 93.3%、单题 0.41 美元。DeepSeek 的 78.1% 比 GPT-6.1 Sol 低 16 个百分点,单题便宜约 9 美分。
这 9 美分的差距和单价差不成比例。GPT-6.1 Sol 每百万 token 输入 2 美元、输出 10 美元,输入价约为 DeepSeek 0.30 美元的 6.7 倍,输出价约为 1.20 美元的 8.3 倍,单题成本却只高出约 55%。按标价与单题成本倒推,DeepSeek 每道题消耗的 token 要多出数倍:token 单价上的优势,没有等比例落到每道题上。
按分数与单题成本两个维度看,78.1% 对应的是更便宜、也更低分的一段。
ARC-AGI-3 一栏还是空的
结果页上 ARC-AGI-3 标为「—」。ARC 在跟帖里说,会在测试完成后公布这一项。上一版 V4.1 Flash 在该项上的成绩是标准 harness 下最高 0.9%、Provider Adapter harness 下 3.3%;GPT-6.1 Sol 在标准 harness 下是 52.7%。
这份成绩单目前只覆盖 ARC-AGI-1 与 ARC-AGI-2。第三项的数字,要等 ARC 测完。