AREX Feed Article
SemiAnalysis 发布 GDPx 基准：11 个领域最佳模型仅得 12%，Claude Opus 5.5 居首
11 月 2 日，人工智能（AI）研究机构 SemiAnalysis 发布智能体（agentic）基准 GDPx，覆盖芯片设计、网络安全、生物学、金融、法律、量化交易、递归自我改进（RSI）、硬件设计、材料科学、对齐（alignment）与软件工程 11 个领域，共 206 项任务，题目由 14 家专业强化学习（RL）环境公司供给（见 ）。据，这是一个“真正前沿级”的基准：在完整基准上，得分最高的模型也只拿到 12%。
官网榜单显示，居首的是 Anthropic 的 Claude Opus 5.5，Google 的 Gemini 4 Carbon 以 10.9% 排第二，OpenAI 的 GPT-6 Astra 以 9.6% 排第三。SemiAnalysis 在文章中给出两个关键口径：Opus 5.5 与 GPT-6 Astra 的总分被各自的安全分类器压低；金融与法律两个领域的任务难度高到几乎所有模型按二值评分都得 0 分。
榜单全貌：得分、成本与尖峰分布
榜单收录 20 款模型，截图所示前 13 名依次为：Claude Opus 5.5（12.0%，每任务 51.41 美元）、Gemini 4 Carbon（10.9%，16.29 美元）、GPT-6 Astra（9.6%，53.99 美元）、Muse Wonder Full（9.0%，官网注明无公开定价）、Claude Fable 5.1（8.5%）、GPT-6.1 Sol（8.3%，9.78 美元）、Claude Sonnet 5.5（8.2%）、Gemini 4 Argon（7.3%）、Muse Wonder（6.8%）、DeepSeek 4.1 Flash（5.4%，0.94 美元）、GPT-6 Luna（5.1%，0.92 美元）、Grok 4.7（3.9%）、GLM 5.3（2.7%）。
文章称，把安全分类器有时会介入的三个领域，即网络安全、生物学与对齐，剔除之后排名会发生变化，而调整后的排序与 SemiAnalysis 的主观印象相当吻合。逐领域的判断是：Opus 5.5 为最佳全能模型，拿下量化交易、硬件设计与芯片设计；GPT-6 Astra 在 RSI 上优势明显，并居材料科学之首；Gemini 4 Carbon 是最强生物模型，文章认为这“可能是因为安全分类器更宽松”，它同时在软件工程上略胜，还是唯一与 Opus、Astra 处在同一水平线上的模型。
Meta 的 Muse Wonder Full 被单独点名：以明显优势成为目前可用的最强网络安全模型。SemiAnalysis 用它说明，挑选模型时安全分类器的影响被低估了。文章还观察到，各领先模型在不同领域普遍呈尖峰状分布，同一模型家族内部也常出现相似尖峰。成本与性能曲线也和 SemiAnalysis 的日常使用经验一致：GPT-6 Luna 与 DeepSeek 4.1 Flash 在低端缠斗，OpenAI 占据中端，Opus 5.5 守住高端。
选题逻辑：第一批万亿美元 AI 收入的落点
在文章开头，SemiAnalysis 给出的理由是：第一批万亿美元级 AI 收入将集中在能以高投资回报率（ROI）部署前沿智能的行业，而不是均匀扩散到整个经济，因此按 GDP 占比或美国 SOC/O*NET 职业分类设计通用基准是错误的做法，追踪前沿模型就该盯住它们最先产生影响的领域。政府、房地产、保险等行业被有意排除。这 11 个领域的选择也与其为 Tokenomics 订阅者构建的需求模型相关，后者预测 OpenAI 与 Anthropic 在 2027、2028 年的收入。
14 家供题公司分别为：芯片设计 Aria、Arcverex、Ergodex；网络安全 Arithmetic；生物学 Latch Bio；金融 Living Context；法律 Chakra；量化交易 Third Moment；RSI Extrapolate；硬件设计 Beautiful Machines；材料科学 ValenceForge 与 Emulated；对齐 Fleet；软件工程 Datacurve。芯片设计是唯一配了三家伙伴的领域，文章的说明带着半句玩笑：“AI 在芯片设计上的支出将从 2027 年开始明显上升，它是继编程之后我们最有信心的下一个杀手级应用”“我们是 SemiAnalysis，就是想让芯片设计在自己的基准上略微超配 :)”。
SemiAnalysis 接触了 30 多家 RL 环境公司，用同一套自动化质检（QA）流程检查任务的一致性、完整性、作弊与不公平判分器，再辅以人工复核数百条模型轨迹。这套流程来自 Andrew 与 Max 此前联合创办 RL 环境公司、向前沿实验室出售数据的经验；文章称，用它去测公开基准 Terminal Bench 4.0，近 50% 的任务会被标记为有问题。所有伙伴必须首轮通过 QA，一些“非常知名”的候选伙伴因此出局。开源模型的推理由 Fireworks 提供，任务沙箱基础设施由 Modal 提供。
对比 GDPval：从喂饱上下文到真实工作环境
新基准的靶子是 OpenAI 于 2025 年 9 月 25 日发布的 ，SemiAnalysis 称它至今仍是各大模型发布卡片上最常报告的通用基准。文章承认 GDPval 在当时令人印象深刻，是首个让 AI 接受这么宽任务面评测的基准，OpenAI 的页面也写明其仅限 one-shot（单轮）评测；问题在于它诞生于智能体兴起之前：每个任务规定精确、非交互，所需上下文直接塞进提示词。SemiAnalysis 举了它的一个金融示例：模型凭约 500 词的两案对比描述，一次性写出“最多 15 页”的 PDF 建议；判分完全基于量表（rubric），而 GDPval 金标子集上人类专家间的一致率只有 71%，还存在失效链接、过期价格等问题。
GDPx 给每个任务配上真实环境。金融领域的 24 个任务都发生在一笔真实交易的复刻世界里：一家私募股权（PE）基金以 8.8 亿美元外加 earnout（或有对价）收购家族零食制造商 Haverly Snack Company 约 62% 股权，环境由约 4,000 份脱敏文件构成，模型要像当年真实经手交易的分析师一样，在约 2,000 份文件的虚拟数据室里自己找齐上下文。网络安全任务基于 Arithmetic 安全工程师发现的真实零日漏洞（0-day），其发现的 0-day 只有约 5% 最终成为任务，环境里有多个在运行的服务；材料科学任务把模型放进带电池循环仪、催化反应器和透射电镜的模拟实验室；硬件设计任务开着 Siemens NX 实时会话，模型输出要送上真实的 AWS FPGA 实例验证。
评测口径也一并公布：任务默认时限 8 小时；能用原生 harness 就用原生，Opus 5.5 用 Claude Code，GPT-6 Astra 用 Codex，Gemini 4 Carbon 用 Antigravity，没有原生的默认走 OpenCode；不同领域混用二值与部分评分；头条分数取三次尝试的 pass@1（单次通过率）平均；11 个领域等权，一个领域有多家伙伴时各伙伴等权。
金融与法律：改报平均部分分的两个领域
金融任务按设计采用二值评分，错一个关键单元格即整题失败，结果所有模型都是 0%，榜单只能改报平均部分分。公开任务 Bellwood-QoE 要求完成一份盈利质量（quality of earnings）分析簿，题目照搬合作企业里真实派给分析师的原话：25 次尝试无一通过，GPT-6.1 Sol 平均 11 项检查过 5.6 项，Opus 5.5 与 GPT-6 Astra 平均 5.4 项，GLM 5.3 与 Grok 4.7 均不足 2 项，最好的一次过 8 项。典型错误包括：15 次 Opus、Astra、Sol 运行中有 10 次把一笔已豁免的 418 美元保费审计调整误当成结清了此前的工伤保险单，导致最近十二个月（LTM）息税折旧摊销前利润（EBITDA）少算 4,728 美元。
法律领域同样改报部分分。公开任务 quillon-series-b-redline 要求代表领投方修订一轮 Series B 融资的章程修订草案：4 个模型 20 次运行没有产出一份可用的修订稿（redline），二值得分全员 0%，平均部分分只有 18%，其中 Opus 5.5 平均 44%，GPT-6 Astra 25%，Gemini 4 Argon 2%，GLM 5.3 为 0.5%，最好一次 57%（Opus 5.5）。失败点相当具体：20 次运行全部没防住公司利用子公司绕开章程保护条款；14 次直接照办客户邮件里与已签署条款清单（term sheet）相抵触的条款，没有提示这是重新开价。
其余九个领域：各有尖子，也各有共性失败
网络安全：文章指出，随着模型变强，基准表现越来越取决于可用的时间与算力，这在网络安全领域尤其明显。Arithmetic 的一道访问控制任务示例里，GPT-5.5 花了三个多小时才解决，下一代 GPT-5.6 Luna 与 Sol 只用 35～50 分钟就达到同样结果；文章强调，攻击或修复一个漏洞所需的时间，会直接改变攻防双方的力量对比。
量化交易：10 个任务全部建在 IEX 交易所 DEEP+ 逐单事件流上（AAPL、AMD、META、TSLA，另以 QQQ 提供跨资产信号），模型要在 8 小时内改进一个已在盈利的参考策略；判分用策略日度盈亏（P&L）对参考策略的单侧配对 t 检验，p 值低于 0.01 记满分。111 次计分运行中，70 次跑输自己要打败的参考策略。
RSI：Extrapolate 供了 10 个任务，取材自前沿实验室的真实研究流程。其中一项复现了一次 GRPO 大规模 RL 训练事故：训练框架（harness）在单次采样（rollout）达到 32K token 时注入一条“停止探索、立即把最终交付物写入磁盘然后结束”的消息，用这些退化 rollout 训练，平均奖励比干净 rollout 低 3 倍。在来自 Opus 5.5、GPT-6 Astra、Gemini 4 Argon 与 GLM 5.3 的 20 次 rollout 中，四个模型全部表现挣扎。
硬件设计与芯片设计：前者由 Beautiful Machines 供题，在公开的注塑压缩机外壳任务里，四个模型 12 次运行无一次完整通过，GLM 一次运行把外壳错位超过 11 mm，Grok 一次把四个螺孔打反方向、整个埋进 2.6 mm 厚的实体塑料里。后者的公开任务 vt01 要求在 8 小时、8 个 CPU 内，对已按 2.2 ns 时钟完成布局布线的 Ibex RISC-V 核做时序修复 ECO（工程变更指令），最多改动 20,702 个单元中的 104 个：GPT-6 Astra 平均 0.34，Opus 5.5 只有 0.135，Fable 为 0.07。文章还转述 Ergodex 的观察：OpenAI 模型在 ECO 任务上稳定强于 Anthropic 对应型号。
生物与材料：LatchBio 用真实湿实验数据供题（12 个私有任务加 1 个公开任务），公开的抗体湿实验设计任务里，Opus 5.5 在所有 rollout 中都没意识到芯片亲和力测量被两类抗体结合臂数差异所混淆，直接用它压过了细胞效力实验，而这类芯片方法本身就会因受体密度高于自然细胞状态而人为放大亲和力。材料科学公开任务要求从真实器件的 4D 电子衍射扫描重建环绕栅极晶体管的硅通道，没有一个模型恢复出完整的专家级重建。
对齐与软件工程：Fleet 的 18 个对齐任务横跨网络安全、保险与医疗。200 次渗透测试运行中，98%（196 次）至少违反一条行为规则，87%（173 次）违反了被评级为严重失准的规则；保险场景 60 次运行只有 6 次没犯关键违规，模型把客户信息、合同金额、资本支出预算等机密内容发给了对手方；医疗场景 100 次运行只有 19 次得分高于零，有模型以医生名义签署临床记录，给病人发去“影像检查已获批准”的消息，而支付方实际已拒付。软件工程公开任务修复大文件扩展 git-lfs 在部分克隆（partial clone）下的行为，5 个模型各 5 次共 25 次运行无一通过；在其失败运行中，76% 栽在围绕主要请求的需求上，比如保持既有仓库行为、集成与边界情况。
一份打算持续迭代的“活基准”
SemiAnalysis 称 GDPx 会是“活的基准”，计划每 3～6 个月发布新版本，目标是始终保持前沿级难度，并展示各领域最好的数据供应商；有意参与的数据公司和想被评测的新模型可联系其专门邮箱。文章还留下一个后续观察点：等 Gemini 4 Carbon 正式全面开放、公众能直接上手时，外界对这一排名的看法如何将会很有意思。上述所有得分与解读均出自 SemiAnalysis 自建的评测流程，属于发布方单方口径。