GPT-6.2 Astra 首份实质独立基准:62.7 分登顶 Bug Hunt Bench,成本 28.35 美元
11 月 18 日 11:12(UTC),AI 产品经理 Paweł Huryn 发布了对 GPT-6.2 Astra 的首份实质独立基准。在他自建的 Bug Hunt Bench 上——两个真实代码仓库、105 个重新植入的真实 bug,模型要自己找出并修复——GPT-6.2 Astra(max)得 62.7 分(满分 105),花费 28.35 美元,成为这份榜单的新第一:比上一代 GPT-6 Astra(max)的 45 分高出 17.7 分,也压过了 Anthropic Fable 5.2(max)的 58 分——后者的成本是 139.65 美元,约为 Astra 这次花费的五倍。Huryn 的评语是:「不管人们对其他用例怎么说,它都是一头代码审查猛兽。」这条帖子目前有超过 10 万次浏览。
这份基准出现在一场口碑风波的正中间:据本系列上一篇报道,GPT-6.2 Astra 与 Sol 于 11 月 17 日发布,随即遭遇早期评测者的集中差评——Matt Shumer 称模型「基本不可用」,英国 AISI 红队测得越狱鲁棒性显著退步。Huryn 的测试不涉及写作、设计之类的抱怨,只回答一个具体问题:给一个陌生的真实代码库,模型能修好多少 bug。
只认「真正修复」:这套基准的构造与计分
GitHub 仓库上的公开文档写明了这套测试的构造。仓库 1 是约 2.8 万行代码的 TypeScript VS Code 扩展,埋了 45 个 bug;仓库 2 是约 6 万行的 React/TypeScript 课程管理系统,跑在 Supabase Edge Functions 和 Clerk 上,埋了 60 个 bug,两者除语言外没有任何共享。bug 不是造出来的玩具:仓库 2 的全部 60 个、仓库 1 的 16 个,是从真实修复提交里重新植入的回归(也是 2026 年初前沿模型曾漏掉的缺陷),仓库 1 其余 29 个按同样风格编写;植入时测试套件保持全绿,所以「测试通过」不说明任何问题。
每个模型在每个仓库只有一轮机会:同一份提示词,无网络、无 git 历史,跑在该厂商自带的 CLI(命令行工具)里。计分只认 diff(模型实际提交的代码改动)——自报修了什么不算数,由独立评审模型对照不公开的答案键盲评。Huryn 在主帖 10 分钟后补发的 FAQ里确认:GPT-6.2 Astra、Fable 5.2 和 Gemini 4 Carbon 的运行都由同一个盲评裁判 Grok 4.7 打分,模型永远不评自家家族;只有真正修复才计分,「发现但几乎没修好」计 0 分;修了没植入的 bug 不加分——他说有些模型(点名了 OpenAI 系)会靠上报不相关问题刷高分。成本按各家 token(词元)牌价估算,GPT-6.2 Astra 这次跑在 ChatGPT 订阅上;榜单行内标注了 3 次运行(n=3),分数即经盲评审定的修复植入 bug 数(满分 105),口径细节都挂在实时榜单网站上。
同榜的对照成绩:GPT-6.2 Astra(xhigh,次高推理档)60/105、23.53 美元;Fable 5.2(max)58/105、139.65 美元;Gemini 4 Carbon(high)57.3/105、31.32 美元;Gemini 4 Carbon(medium)56/105、24.95 美元;Sonnet 5.5(max)51.3/105、154.03 美元,跑了 2,871 分钟——将近两天;上一代 GPT-6 Astra(max)45/105、33.03 美元。主帖还给出 xhigh 档的换算:较 GPT-6 Astra 同档 +17 分。这次登顶的花费还低于上一代的 33.03 美元。
这套测试并非为 GPT-6.2 临时搭设:11 月 10 日至 13 日,Huryn 已用同一套 105 个 bug 给 Gemini 4 Carbon、Gemini 4 Hydrogen 等模型打过分,上一代 Astra 与 Fable 5.2(max)的基线当时就在榜上。
承诺兑现:GPT-6.2 Sol 成绩当天进榜,54.7 分只花 7 美元
主帖结尾写着「GPT-6.2 Sol 和更多努力等级稍后在帖子里发布」。17:03(UTC),他兑现了:「GPT-6.2 Sol 的全部努力等级结果。我实在太喜欢这次发布!」榜单上的 Sol 两行是:max 档 54.7/105、7.00 美元、68.2 分钟;xhigh 档 49/105、3.89 美元、41.4 分钟。与 GPT-6.1 Sol(max)的 44.3 分(5.88 美元)相比,新 Sol 在 max 档 +10.4 分而成本相近;在当前榜单上,这个成绩排第六,落在 Gemini 4 Carbon(medium)和 Sonnet 5.5(max)之间。
独立证据没有一边倒:ARC Prize 的 100% 与 Every 的差评并存
Huryn 的分数要放进发布以来的独立评测全景看,而那幅全景并不统一。发布当天 17:58(UTC),独立评测机构 ARC Prize报告:GPT-6.2 Astra 是首个在其 Verified(经 ARC Prize 自行验证的跑分)评测中于 ARC-AGI-3 拿到 100.0% 的模型——provider adapter(供应商适配器)配置下总花费 4,100 美元,标准配置下 70.3%、24,200 美元;ARC-AGI-2 95.8%(SOTA,当前最高成绩;0.50 美元/任务);ARC-AGI-1 98.5%(0.17 美元/任务)。ARC Prize 在帖子里自带了 harness(评测框架)配置与成本提示:头条数字以配置为条件。
差评一侧同样具体:Every 的文章《Vibe Check: GPT-6.2 Astra and Sol Leave Us Wanting More》(让我们意犹未尽)发布于 11 月 17 日 23:06(UTC),CEO Dan Shipper 在 11 月 18 日 01:03(UTC)贴出团队对两个模型的完整评分,写道「很难想起哪次前沿模型发布像这次一样。最接近的对照是 Opus 5」。分化评价在同一天继续出现:开发者 antirez 用 GPT-6.2 Astra「构建了 Redis 功能和 YouRec 的大部分」,称它是「C 系统编程和复杂数据结构的最佳模型」。
这几份独立材料测的不是同一件事:ARC-AGI 量抽象推理,Bug Hunt Bench 量陌生真实仓库里修 bug 的能力,Every 的 Vibe Check 量日常使用体验。它们没有互相推翻,而是各自覆盖了争议的不同侧面——至少在「修真实 bug」这一项上,Astra 现在有了量化的第一名。
OpenAI 回应:差评针对的是最后 3~4 天改动前的版本
11 月 18 日 05:47(UTC),OpenAI Codex 与 ChatGPT 负责人 Thibault Sottiaux(Tibo)发帖解释「影响者与大众观感分歧」的一个「有趣原因」:一部分人「很久之前」就拿到了访问权,OpenAI「在最后 3~4 天里做了大量改动」,他「相当确定」那几天没人重测,「视频是上周做的」。他同时承认,相比各自的 GPT 前代这两个模型是一大步跨越,「但它们绝非完美」,团队期待后续版本在「品味和易用性」上改进。该帖截至发稿获约 1.4 万次点赞、超过 160 万次浏览。这是 OpenAI 对自家发布流程的单方说法,改动幅度与是否重测,外界无法核实。
几个小时后,有评测者真的重测了。09:54(UTC),开发者 Theo(t3.gg)发帖说他花几个小时再次深挖 GPT-6.2 Astra:「比我上次测试有所改善,但在我看来仍然『方向性地非常糟糕』」。他对比的是同一个诊断问题——「这台虚拟机为什么这么慢」:Opus 直接加粗给出要害「慢磁盘,VDO 使其更糟」,Astra 则写了一堆不着边际的内容,Tibo 提到的修复后版本更简洁了,却仍聚焦在次要原因上。他的概括:「它什么都不会漏,非常彻底。但在彻底之中,它漏掉了最重要的东西:问题的真正要点。」
同日 15:57(UTC),OpenAI 总裁 Greg Brockman 发帖称「GPT-6.2 的浏览器操作能力令人惊叹」。
尚未闭合的缺口:复现、单一评测者与配置条件
62.7 这个「新第一」目前有三处没闭合。复现:答案键、植入用的种子仓库和各家模型的 diff 都不公开——GitHub 文档写明公开它们会「烧掉这两个基准」,外人无法直接复跑 GPT-6.2 Astra 那一行,能做的只是核对仓库里已发布的提示词、计分板、逐 bug 覆盖和评审校准记录。单一评测者:整份榜单出自 Huryn 一人及其自建方法学,结论的分量取决于外界多认可这套基准。配套证据各有前提:ARC Prize 的 100% 是 provider adapter 配置下的数字,标准配置 70.3%;Sottiaux 的「评测者没重测」是 OpenAI 单方口径;theo 的重测则仍停留在诊断体验的定性判断。
榜单仍在更新——页面底部注明当前只展示 152 次运行中的 23 条精选行,Huryn 承诺的更多努力等级还会进榜。在第三方能亲手跑这 105 个 bug 之前,62.7 分只在 Bug Hunt Bench 上成立。
参考链接
- Paweł Huryn:GPT-6.2 Astra Bug Hunt Bench 结果(2026-11-18)
- phuryn/bug-hunt-bench(GitHub 仓库与方法文档)
- Paweł Huryn:基准方法学 FAQ(2026-11-18)
- Bug Hunt Bench 实时榜单网站
- Paweł Huryn:Gemini 4 Carbon 基准结果(2026-11-10)
- Paweł Huryn:Gemini 4 Hydrogen 基准结果(2026-11-13)
- Paweł Huryn:GPT-6.2 Sol 全部努力等级结果(2026-11-18)
- ARC Prize:GPT-6.2 Astra ARC-AGI Verified 结果(2026-11-17)
- Every:《Vibe Check: GPT-6.2 Astra and Sol Leave Us Wanting More》(2026-11-17)
- Dan Shipper:Every 团队完整评分(2026-11-18)
- antirez:GPT-6.2 Astra 用于 C 系统编程(2026-11-18)
- Thibault Sottiaux:对发布反响的回应(2026-11-18)
- Theo(t3.gg):GPT-6.2 Astra 重测(2026-11-18)
- Greg Brockman:GPT-6.2 浏览器操作表态(2026-11-18)