AREXOpen in interactive Feed

AREX Feed Article

Artificial Analysis 上线 Terminal-Bench-Science 0.1 榜单:GPT-6 Astra 63%、Claude Opus 5.5 62% 领跑,开源权重模型落后逾 50 分

独立评测机构 Artificial Analysis 于 UTC 时间 9 月 24 日 23:30(北京时间 9 月 25 日上午),为科研 agent 基准 Terminal-Bench-Science 0.1 上线排行榜并公布首批成绩:GPT-6 Astra (max) 以 63% 排名第一,Claude Opus 5.5 (xhigh) 以 62% 排名第二,榜上只有这两个模型的通过率超过 50%。

另一头的差距更悬殊。Artificial Analysis 称,榜上最好的开源权重模型 GLM-5.3 (max) 得分 10%,DeepSeek V4.1 Flash (max) 得分 9%,落后头部 50 个百分点以上;生命科学则是多数头部模型得分最低的领域。

70 个取自真实科研的任务,在沙盒里从头跑到尾

Terminal-Bench-Science 0.1 于 2026 年 8 月公布,由 Stanford 研究者 Steven Dillmann 与 terminalbench 团队构建,全球开源科学贡献者参与。称其为开放学术协作:Stanford 大学研究者和 Terminal-Bench、Harbor 团队共同开发,全球多所机构的科学家贡献了任务;给自己的定义是「一个评估 AI agent 在各科学领域研究工作流的基准」。

70 个任务取材于真实科研实践,由领域专家编写并复核,按领域分布为:生命科学 19 个、物理科学 17 个、数学科学 17 个、工程科学 9 个、地球科学 8 个。

测试方式与 Terminal-Bench 相同:每个任务把 agent 放进一个沙盒环境,配齐该任务所需的数据、工具和指令,agent 从头跑到尾;每个任务自带一组自动测试,逐项判 pass/fail,Artificial Analysis 报告 3 次尝试的平均 pass@1(单次通过率)。榜单页面还链接了任务的 和 。

榜单卡片给出小数点后的成绩

Artificial Analysis 榜单页面的卡片显示,第一名 GPT-6 Astra (max) 63.3%,第二名 Claude Opus 5.5 (xhigh with fallback) 61.9%,第三名是同一模型的 max with fallback 配置,59.0%——与公告取整的 63%、62%、59% 一一对应。这些成绩由该机构自行测得,公告原话是「我们报告 3 次尝试的平均 pass@1」。对头部格局,公告的总结是:「近期的发布带来了大幅进步,但即便是榜首的 GPT-6 Astra,也有显著的提升空间。」

同一个模型,推理档位不同能差 38 分,成本差 5 倍

Artificial Analysis 在公告的续推中称,Terminal-Bench-Science 既能把不同模型拉开差距,也能区分前沿模型内部不同推理档位(reasoning effort)的差别。它给出的数字是:,提升约 38 个百分点,两档之间单任务成本相差约 5 倍;开到 max 档,成绩反而略降到 59%。GPT-6 Sol 从低档到 max 档提升 27 个百分点,对应约 7.5 倍的单任务成本。

至少在这份榜单上,最高的档位没有换来最高的成绩——Opus 5.5 的 max 档就低于 xhigh 档。

开源权重模型的最好成绩,落后榜首 53 个百分点

公告单独点名了开源权重(open weights)模型:榜上最好的开源权重成绩来自 GLM-5.3 (max),得分 10%;其次是 DeepSeek V4.1 Flash (max),得分 9%——以榜首 63% 计,分别落后 53 个和 54 个百分点。公告没有解释这个差距的成因,只把这两条成绩归为「最好的开源权重模型」。

数学 71%,生命科学 46%,而领域分数噪声不小

按领域看,Artificial Analysis 给出的具体对比是:Claude Opus 5.5 (xhigh) 通过了 71% 的数学科学任务,而生命科学任务的通过率只有 46%——生命科学正是多数头部模型的最低分领域。这个拆分带着 Artificial Analysis 自己标注的限制:每个领域只有 8~19 个任务,领域分数噪声较大。

截至 9 月 28 日通过 API 核实时,这条公告帖已获得约 25 万次浏览和 1,034 个赞。回复里也出现了同类的方法学提醒——,70 个任务、每个只跑 3 次,顶部那 1 分的差距不足以支撑一次路由决策;由 8~19 个任务构成的领域分数,翻错一个案例就会明显移动。

参考链接