AREX Feed Article
Gemini 4 Carbon 超越 GPT-6.1 Sol 登顶 MathArena,Fable 5.2 居第二,作者称这是很长时间以来首个非 OpenAI 榜首
2026 年 11 月 13 日 23 时 27 分(北京时间),数学评测基准 MathArena 的作者 Jasper Dekoninck 在 :Google 的 Gemini 4 Carbon 超越 OpenAI 的 GPT-6.1 Sol,登上 MathArena 榜首,Anthropic 的 Fable 5.2 位列第二。他在推文中写道:「很长时间以来,第一次有非 OpenAI 模型登上 MathArena 第一!Gemini 4 Carbon 从 GPT-6.1 Sol 手中接过第一,Fable 5.2 位列第二。」这条附有榜单截图的推文已获得超过 1,100 次点赞和约 8.9 万次浏览。
官网数据与之吻合:目前把 Gemini 4 Carbon(high)排在第一,预期成绩 85.4%(±3.0%);Claude-Fable-5.2(max)以 82.8%(±5.3%)居第二;9 月 29 日发布的 GPT-6.1 Sol(max)以 80.6%(±2.7%)退居第三。按官网收录信息,Carbon 发布于 11 月 10 日,Fable 5.2 发布于 11 月 9 日,榜首易主发生在两款模型发布后几天之内。
分赛项成绩:Carbon 拿下两个整体第一,但没赢下每一期
首页的「预期成绩」是一个汇总指标;进入单个模型页面,还能看到每个赛项的整体成绩。在 BrokenArXiv 和 ArXivMath 两个赛项上, 都排到 8 个模型之首:BrokenArXiv 整体 84.40%(±5.57%),ArXivMath 整体 94.28%(±3.64%);在这两项均为第二,分别是 83.09% 和 92.81%。
但 Carbon 并没有赢下每一期。9 月版(09/2026)BrokenArXiv 的头名至今是 GPT-6.1 Sol,82.70% 在 15 个模型中排第一,Carbon 以 82.39% 居次;到 10 月版才轮到 Carbon 领先,82.72% 对 80.25%。目前只跑了 9 月和 10 月两期,BrokenArXiv 上分别得 80.50% 和 73.46%,它的页面上还没有整体行。榜单上最好的开放模型是 Moonshot AI 的 Kimi K3.1 Pro(max),预期成绩 54.3%(±5.8%),与榜首相差约 31 个百分点。
每月换新题、每题四跑:一块难以押题的榜
MathArena 官网写明了它的做法:用新的数学竞赛、奥林匹克和研究型题目测模型,题目是模型训练时没有见过的;每个模型在每道题上运行四次,榜单展示平均分和单次运行一道题的平均成本(美元)。项目由 Epoch AI 资助,方法论文()由 Dekoninck 等七人署名。
赛题按月轮换。11 月 9 日,Dekoninck 把 BrokenArXiv 和 ArXivMath 的 10 月版本加入评测,当时的排名还是「GPT-6.1 Sol 在两个基准上都领先」。官网把「预期成绩」定义为模型在未退役(non-deprecated)赛项上的汇总表现,新赛期加入、旧赛期退役,这个数字本身也会随之变动。
单题成本 15.70 美元对 1.07 美元:登顶的代价
宣布推文发出一秒后,Dekoninck 在里补上了成本这一面:「在相应推理设置下,额外的成绩确实伴随着显著更高的成本,这一点在 BrokenArXiv 上尤其明显。」
官网数字与他的说法一致。按汇总口径,Carbon 单次运行一道题的预期成本为 15.70 美元(±1.33),Fable 5.2(max)为 40.20 美元(±2.59),Sol(max)为 1.07 美元(±0.018),登顶的单题成本约为原榜首的 15 倍,第二名约为 38 倍。分赛项看,BrokenArXiv 整体上 Carbon 为 16.35 美元一道题,Sol 为 1.14 美元,相差约 14 倍;ArXivMath 整体是 5.08 美元对 0.96 美元,约 5 倍——成本差距确实在 BrokenArXiv 上最明显。
成本差异也和三款模型在评测中的运行设置有关:Carbon(high)通过「gravity」agent harness(运行框架)在容器中运行(4 核 CPU、12 GB 内存,单题超时 1,200 秒),推理力度档位(reasoning effort)为 high,输入/输出单价为每百万 tokens(词元)2 美元/10 美元,与 Sol 相同;Fable 5.2(max)跑在 Claude Code harness 中,推理力度档位为 max,单价 8/40 美元;Sol(max)用 codex harness。同分不同价的例子也在这次数据里:10 月版 ArXivMath 上,Carbon 与 Fable 5.2 都得 93.62%,单次成本分别是 5.29 美元和 22.28 美元,相差约 4 倍。
发布者是基准作者,此前刚质疑过 Google 的发布时机
自述为 ETH Zurich 博士生,研究方向是大语言模型(LLM)的数学评测,参与 MathArena、IMproofBench、BrokenMath 等项目;MathArena 官网的联系邮箱也使用 ETH Zurich 域名,方法论文的第一作者同样是他。
他对 Google 的评测动作并不格外客气。10 月 28 日他指出:如果 Gemini 4 Carbon 提前一天发布,「它在 Artificial Analysis 上就不会是第一」,在 AA v4.3.2 上 Carbon 得 57 分,低于 Opus 5.5 的 58 分,v5 上才是 59 对 58,帖子结尾写着「时机耐人寻味?:)」。同日他还了 Gemini 4 Argon 若用 Carbon 发布时所选基准会取得的成绩,称「这显示了基准选择能为你做什么」。
时间线上还有一个事实:11 月 12 日,也就是宣布 Carbon 登顶的前一天,他宣布自己入选 Google PhD Fellowship(NLP 方向)。
Google 侧成员致意,榜首仍是快照
回复区里也有 Google 自己的人。在 Gemini 团队工作的 Logan Kilpatrick 在回复中圈了 @demishassabis,「不错 :)」,获得 126 次点赞;Google DeepMind 成员 Evan Otero :「我也喜欢这个成本的样子。」HuggingFace 联合创始人 Thomas Wolf 「有意思!」。
结果本身还带着未定之处:这是一份快照,分数会随后续提交变化;Fable 5.2 尚未跑完全部已收录赛期,页面上暂无整体行;Carbon 也没有赢下每一期。榜首能否坐稳,要等下一期新题和下一次提交。