AREX Feed Article
ARC Prize 实测 Gemini 3.8 Flash 上 ARC-AGI 榜：ARC-AGI-2 得 89.2%，ARC-AGI-3 换 harness 从 10.4% 升至 35.0%
9 月 24 日 20:03（UTC），宣布，Google 的 Gemini 3.8 Flash 已通过其 Verified（经核验）流程登上 ARC-AGI 榜单：ARC-AGI-1 得 98.5%，每任务成本 0.21 美元；ARC-AGI-2 得 89.2%，每任务 0.40 美元；ARC-AGI-3 得 10.4%，评测花费 4,400 美元，用的是标准 harness（厂商无关的极简评测框架）。同一条推文并列给出另一评测条件下的成绩：35.0%，花费 4,500 美元，用的是 Provider Adapter harness（启用厂商自家上下文管理的适配框架）。这些分数出自 ARC Prize 自己运行并验证的评测，由 ARC 而非 Google 公布。
两组数字里最扎眼的是 ARC-AGI-3：同一个模型、两套 harness、账单只差 100 美元，分数相差 24.6 个百分点。ARC 在推文末尾给 Gemini 3.8 Flash 的评语只有一句：它的突出之处在于低成本与高分。
记分卡来自 ARC Prize 的 Gemini 3.8 Flash 结果页，卡头上标注着「Google · Released Sep 2, 2026」。
三张榜、六个配置：这批分数从哪来
ARC Prize 为 Gemini 3.8 Flash 开设的列出了 6 组 harness 配置，并注明其最佳 Semi-Private（半私有）成绩都出自高档推理。页面的 Verified 分数表按低、中、高三档推理展开：ARC-AGI-1 从 90.5% 到 98.5%，ARC-AGI-2 从 77.5% 到 89.2%，ARC-AGI-3 标准 harness 从 5.99% 到 10.37%，Provider Adapter 从 15.07% 到 35.00%——推文取的正是每张榜最高档的数字。表里还有一个反常细节：标准 harness 下，中档推理只跑出 3.99%，反而低于低档的 5.99%。
写明了「Verified」的含义。ARC Prize Foundation 是 François Chollet 与 Mike Knoop 于 2024 年 4 月共同创立的非营利组织，由它自行选定要测试的模型，在其 Semi-Private 评测集上运行评测——由于题目要送进厂商的第三方 API，这批任务只能做到「半私有」，ARC 要求厂商签署零数据保留协议。每次评测设 10,000 美元上限，只跑一次，不跨次取平均；模型输出、耗时、花费和逐题成绩会发布在 HuggingFace 上，ARC-AGI-3 的每个环境还附带完整运行回放。Gemini 3.8 Flash 的两次 v3 运行分别花费 4,400 美元和 4,500 美元，都在上限之内。
时间线上，记分卡标注 Gemini 3.8 Flash 由 Google 于 9 月 2 日发布，ARC 在 22 天后公布了这批成绩。
两套 harness，回答两个不同的问题
在同一时间发出的里，ARC 称 Gemini 3.8 Flash 是第一个在 ARC-AGI-3 上同时用两种 harness 测试的 Gemini 模型。按其说明，标准 harness 是极简的、与厂商无关的统一接口：它提供解出每个游戏所需的全部信息，但模型要自己决定在可见笔记里保留什么、带在身上贯穿整个环境；ARC 在里说，未来的 AGI 应当能在这种条件下解出 ARC-AGI-3，统一接口也让各家模型可以同口径比较。Provider Adapter harness 则改用厂商自己设计的上下文管理功能：在请求之间保留不透明（外界看不到）的推理状态，并对较长的对话做压缩，让模型复用先前的工作。
ARC 在政策文件里写明，两套 harness「回答不同的评测问题」，结果分开报告，并明确标注每项成绩用的是哪一套。这次的两组成绩也接近一次对照实验：两次运行只差 100 美元，差距不是用更多算力换来的。逐环境的落差更直观——结果页显示，Provider Adapter 下 LP85 在三个推理档位全部拿到 100%，AR25 和 SB26 也各有两档 100%；同一批环境在标准 harness 下的最好成绩分别只有 86.4%、45.9% 和 2.8%。
同样的方向性落差此前已在另一家厂商的模型上出现过：9 月 3 日，ARC 公布 OpenAI 的 GPT-6 Astra 成绩时，adapter 同样远高于标准——62.7%（约 26,000 美元）对 99.9%（约 19,000 美元），相差 37.2 个百分点。
ARC-AGI-3 难在哪：探索、建模、无指令规划
ARC 在公布 GPT-6 Astra 成绩的博客里把 ARC-AGI-3 描述为考察智能体智能的基准：环境新颖、抽象、回合制，模型必须主动探索、推断目标、把原始观察变成可泛化的环境模型，在没有明确指令的情况下规划行动，评测考察探索、建模、目标设定、规划执行四个方面；人类受试者可以解出其中 100% 的环境。照这个标准看，Gemini 3.8 Flash 在 ARC-AGI-1、ARC-AGI-2 上分别拿到 98.5% 和 89.2%，到 ARC-AGI-3 就只剩 10.4%～35.0%——两代基准考的已不是同一种能力。
ARC 同时给自己留了余地：在发布 ARC-AGI-3 时它就说明，刷满这个基准并不构成「AGI 的证明」。结果页的逐环境成绩表覆盖 25 个环境，每个环境都挂有可回放的运行记录。
成本对比：Gemini 3.8 Flash 与 GPT-6 Astra 的 v3 账单
「低成本、高分」的判断有一笔可核对的账。在 v3 上，GPT-6 Astra 拿 62.7% 花了约 26,000 美元（标准 harness），拿 99.9% 花了约 19,000 美元（Provider Adapter）；Gemini 3.8 Flash 的两次运行分别只花了约 17% 和 24% 的钱，成绩也同步缩水：10.4% 对 62.7%，35.0% 对 99.9%。而在 v1、v2 上，0.21 美元和 0.40 美元的每任务成本对应 98.5% 和 89.2% 的成绩——ARC 那句评语在这两张榜上对得上账。
评论区先问起了口径
截至 9 月 27 日（UTC）的查询，这条推文拿到 563 个赞、33 次转发、23 条回复和约 59,000 次浏览。获赞最多的回复之一来自 ：「对任何用过这个模型的人来说都不意外——它非常擅长把事情干脆利落地办成。」但 harness 落差引来的追问更尖锐。 写道：「在把其中任何一个分数当成模型成绩之前，我想先看到 provider adapter 差异的解释。能搬动这么大幅度结果的 harness 改动，是评测本身的一部分，不是管道工程。」 则说：「光 harness 一项就在 ARC-AGI-3 上带来 3 倍提升，我觉得榜单该给写 adapter 的人记一功。」
ARC 自己的立场写在文件里：政策承诺两套 harness 的成绩分开报告、明确标注，Astra 博客也说今后会在榜单上同时给出两种条件的结果；结果页的 ARC-AGI-3 榜单区块也确实把 Gemini 3.8 Flash 与「Gemini 3.8 Flash - Provider Adapter」列成了两个条目。但在这轮发布的物料里，侧重已经不一致：推文把 10.4%（标准 harness）写在第一行，记分卡给 ARC-AGI-3 印的却是没有 harness 标注的 35.0%。评论区里， 把问题挑明：「ARC-AGI-3 上的分数跃升，主要来自接近同等花费下的 harness 更换，而不是模型名称本身。需要核对的是买方实际上线会对照哪一把尺子，再决定是否把更高那块榜当作默认口径。」