AREX Feed Article
独立评测同日更新:Claude Opus 5.5 以 0.750 分登顶 CADArena,Grok 4.7 列 Agent Arena 第 16 位
9 月 25 日 00:30(UTC),独立评测方 Normal 在 X 上宣布:9 月 22 日发布的 Claude Opus 5.5 以 0.750 分登顶其 CAD Arena 榜单,从 OpenAI 的 GPT-6 Astra(0.671 分)手中接过第一名;同一帖文还写明,Grok 4.7 的得分低于上一代 Grok 4.6,也低于 OpenAI 的 GPT-6 Luna。约三个半小时后,评测平台 Arena.ai 宣布 Grok 4.7(帖文标注 @SpaceXAI)以第 16 位进入其 Agent Arena 排名:净改进 +3.96%,高于上一版 Grok 4.6 的 +1.22%,但单任务中位成本从 0.74 美元升至 1.14 美元,约涨 54%。
两份结果分属两家不同的评测方,测的任务、算分的方式都不一样,数字不能放在一起直接比较;两份榜单的数据都来自评测方自己的基准运行。
图:Normal 是文中第一份榜单(CAD Arena)的发布方,其官网首页自述为“一家面向硬件设计的应用研究实验室”(Normal is an applied research lab for hardware design)。(图源:normal.ai)
Normal 更新 CADArena:六款新模型同批入库
写道:“Opus 5.5 是 CADArena 的新科第一。我们新增了六款模型。Opus 5.5 得分 0.750,从 GPT-6 Astra(0.671)手中接过榜首;Grok 4.7 得分低于 Grok 4.6 和 GPT-6 Luna。”帖文本身没有附方法细节,方法说明放在它的上。截至 9 月 28 日检索,这条帖文获得约 400 个赞、超过 5.1 万次浏览。
Opus 5.5 由 Anthropic 于 9 月 22 日发布,官方账号称它“在大多数任务中达到 Claude Fable 5.1 的水平”,且“运行成本比 Opus 5 低 40%”(;)。三天后,它在 CADArena 坐上头名。
榜单页面显示:现收录 12 个模型、覆盖 5 个 CAD 平台,1,080 次试验中 995 次计入打分,最后更新于 9 月 25 日。9 月批次新加入的六款模型——Opus 5.5、GPT-6 Sol、GPT-6 Luna、Grok 4.7、Inkling、Inkling Small——的数据来自 9 月 24 日捕获的十次运行,无输出的试验不计入分数。
排名表上,Opus 5.5 在 Claude Code 环境里于 90 项试验中完成 88 项计分,得到 0.750,平均每次试验花费 15.54 美元、消耗 1.10M tokens(词元);GPT-6 Astra(Codex 环境,90 项全部计分,7.13 美元)以 0.671 退居第二;Anthropic 自家的 Fable 5.1 以 0.662 排第三,与 Astra 只差 0.009。同批入库的 GPT-6 Sol 排第四(0.525),Inkling Small(0.143)与 Inkling(0.124)垫底。Grok 一侧:Grok 4.6 第 6(0.348),GPT-6 Luna 第 8(0.301),Grok 4.7 第 9(0.258)——在 Grok Build 环境里完成 84 项计分,平均每次 16.12 美元、1.03M tokens。
一场考“把图纸变成零件”的评测
CAD Arena 的任务设定写在页面上:让前沿模型在原生 CAD 平台内,依据工程图纸重建真实的机械零件,零件共 18 个;一个试验等于一个模型、一个零件、一个平台,每个模型要在全部平台上完成全部零件。验证器(verifier)对结果的几何精度(geometry)与可编辑性(editability)分别打分,榜单分数是两者的均值,范围 0~1;95% 置信区间由对零件做自举(bootstrap)得出;成本只在账单可核实处显示,token 计数不含缓存读取。
按这个口径,Opus 5.5 的 0.750 分一半看零件造得准不准,一半看结果还能不能继续编辑;Grok 4.7 的 0.258 分同样由这两部分构成。
Agent Arena:三代 Grok 的分数与账单
Arena.ai 在 9 月 25 日 03:53(UTC)的里写道:“Grok 4.7(@SpaceXAI)刚刚进入 Agent Arena,排第 16 位,净改进分为 +3.96%。”帖文给出三代 Grok 的对比:Grok 4.7 (xHigh) 单任务中位成本 1.14 美元、净改进 +3.96%;Grok 4.6 (High) 0.74 美元、+1.22%;Grok 4.5 0.43 美元、+1.50%。从 4.6 到 4.7,中位成本上涨 0.40 美元,涨幅约 54%。帖文以一句祝贺收尾:“祝贺 @SpaceXAI 团队带来这次扎实的发布!”截至 9 月 28 日检索,这条帖文有约 490 个赞、11.9 万次浏览。
对比中有一个帖文自己标注的差异:Grok 4.7 用的是 xHigh 档,Grok 4.6 用的是 High 档,两边并不完全同档。
图:Arena.ai 9 月 25 日随帖发布的 Agent Arena 净改进排行(相对基线,%):Grok-4.7 (xHigh) 以 +3.9% 列第 16 位,榜首 Claude Fable 5.1 (Max) 为 +13.4%,GPT-6 Astra (Max) 以 +11.0% 居次。(图源:Arena.ai)
五项信号:Confirmed Success 第 6,Steerability 第 28
帖文列出了 Grok 4.7 (xHigh) 的五项信号排名:Confirmed Success 第 6(+10.41%)、Bash Recovery 第 12(+5.98%)、Praise vs Complaint 第 16(+4.93%)、Steerability 第 28(-1.89%)、Tool Hallucination +0.36%(帖文称“没有问题”)。按 的定义,Confirmed Success 衡量模型让用户确认任务完成的比例,Bash Recovery 衡量命令失效后的恢复速度,Steerability 衡量模型接住用户纠正的能力,Tool Hallucination 衡量模型虚构不存在工具的程度——Steerability 是五项里唯一的负值。
按 ,Agent Arena 的数据来自全球社区用户的数百万个真实、长程智能体任务,模型可以调用网页搜索、文件系统和终端工具来完成复杂工作流;榜单用“因果追踪”(causal tracing)方法衡量各模型相对平均模型的结果表现,“净改进”就是相对这个基线的读数。Opus 5.5 发布当天(9 月 22 日)就被 Arena.ai 加入 Agent Arena 和 Battle Mode();三天后,Grok 4.7 带着自己的第一份 Agent Arena 分数入场。
口径不同,解释缺席
CAD Arena 的 0.750 是几何与可编辑性的绝对均分,Agent Arena 的 +3.96% 是相对社区基线的净改进;前者按一次计分试验计成本,后者按单任务中位成本计。对 Grok 4.7 的归属,两家写法也不同:Normal 的榜单把 Grok 4.6、Grok 4.7 列为 xAI 的模型,Arena.ai 的帖文则把 Grok 4.7 标在 @SpaceXAI 名下,两条帖文互不提及对方。
Normal 的榜单页给出了运行编号 erun_870e9e2d0ad64b7497 和捕获时间(2026-09-25 05:45 UTC),Arena.ai 的方法说明写在帖文与榜单页里;两边的帖文和页面都未附第三方复核材料。
CAD Arena 的成本栏还提供了一个分数之外的对照:12 个模型里,单次计分试验平均花费最高的是 Fable 5.1(17.70 美元),第二是排第 9 的 Grok 4.7(16.12 美元),第三是登顶的 Opus 5.5(15.54 美元)。至于 Grok 4.7 为什么在 CAD Arena 上低于自家上一代、为什么在 Agent Arena 只排到第 16 位,两条帖文都没有给出解释。
参考链接
- Normal(CADArena)X 帖文:
- Arena.ai X 帖文:
- Normal CAD Arena 榜单页:
- Arena.ai Agent Arena 榜单页:
- Arena.ai LinkedIn 版帖文(含方法论说明与图表):
- Claude 官方账号发布帖:
- Anthropic 发布帖:
- Arena.ai Opus 5.5 入场帖:
- Agent Arena 图表来源文件(Arena.ai,LinkedIn 帖附图):
- Normal 官网首页卡片来源文件: