AREXOpen in interactive Feed

AREX Feed Article

首个独立实测将 Gemini 4 Neon 排到编码榜单第一:105 个重植 bug 修复 63 个,0.3 分险胜 GPT-6.2 Astra

November 19, 2026

11 月 19 日 09:43(UTC)——Gemini 4 Neon 发布约 13 小时后——AI 产品经理、《The Product Compass》通讯作者 Paweł Huryn 在 X 帖文中公布了对这款新模型的独立实测:在 2 个真实仓库、105 个重植 bug(把仓库的历史修复回滚、让 bug 重新出现)的自建编码测试中,Gemini 4 Neon 的 xhigh 思考档修复 63 个,排在他 Bug Hunt Bench 榜单第一;第二、三位都是 GPT-6.2 Astra(max 档 62.7 分、xhigh 档 60.2 分),Anthropic 的 Fable 5.2(max 档)以 58 分列第四。这是 Neon 于 11 月 18 日发布后第一份公开的第三方端到端编码成绩;截至发稿,帖文已获得约 1,500 个赞与 8.8 万次浏览。

此前一天,Google 发布 Neon 时给出的能力数字全部是厂商口径:官方称这款介于 Carbon 与 Hydrogen 之间的中档型号在 Artificial Analysis 智能指数 xhigh 档得 61 分、总榜第 3,Coding Agent Index 得 58.6 分、整体第 1,定价为每百万输入 token 3 美元(缓存输入 0.15 美元)、输出 15 美元,配 100 万 token 上下文窗口,当日推送至 Gemini API、Gemini for business、Antigravity 与 Gemini 应用的付费档(见官方发布文章与 Google DeepMind 的发布帖)。Huryn 的测试第一次让这款模型在真实工作流里接受外部检验。

考场怎么搭、分怎么算:真实仓库与盲评

Bug Hunt Bench 不是把模型放上既有基准跑分,而是 Huryn 自建的端到端编码考试,规则写在他的 FAQ 帖与榜单网站上。考场是两个互不相关的生产代码库:一个约 2.8 万行的 TypeScript VS Code 扩展,埋入 45 个 bug;一个约 6 万行的 React/Supabase LMS(学习管理系统),埋入 60 个。这些 bug 多数是从仓库自己的修复历史里回滚出来的真实回归,每个都对应一段修复 commit(提交记录);Huryn 在 FAQ 里补充,它们是「2026 年初的前沿模型没有抓到的真实 bug」。

计分规则封掉了三个注水口。测试套件全程保持通过,代码里没有指向答案的线索;每个模型拿到完全相同的 prompt(提示词),每个仓库一轮,在各自原生的 agentic CLI(模型厂商自带的命令行代理工具)里运行——榜单页标注 Google 系模型走 Antigravity CLI,OpenAI 走 Codex CLI,Anthropic 走 Claude Code。评分只看模型产出的 diff(代码改动),不看它自称修了什么:独立裁判对照保密的答案键盲评,不知道 diff 出自哪个模型,而且「一个模型永远不评审自家家族」。发现但没修好的 bug 计 0 分;模型顺手修掉的非重植 bug 单独记录、永不计分——Huryn 称这是为了防「bug-maxing」,即靠罗列一堆真实但不相关的问题刷存在感。按这套口径,Neon(xhigh)在 63 分之外还多修了 60.3 项未重植问题,未计入成绩。

费用按各 CLI 报告的 token 数、按厂商列表价估算,子代理(subagent)的用量计入;Neon 的运行跑在 Huryn 自己的 Google AI Ultra 订阅上。截至发稿,网站已收录 55 个模型、235 行结果、387 次运行,数据更新于 11 月 19 日。

四档思考档阶梯与每轮费用:榜单全貌

头部五名的分差不到 6 分:网站数据显示,Neon(xhigh)63 分(三次运行均值),GPT-6.2 Astra(max)62.7 分,Astra(xhigh)60.2 分(五次运行),Fable 5.2(max)58 分;Google 自家的 Carbon(high)57.3 分、Neon(high)57 分、Carbon(medium)56 分;再往后是 GPT-6.2 Sol(max)54.7 分与 Claude Sonnet 5.5(max)51.3 分。

Neon 的第一是思考档拉满换来的:默认 high 档还落在 Carbon 同档之下,xhigh 比高档多修 6 个 bug。Huryn 在 FAQ 里说明,xhigh 是 Neon 的最高思考档,Carbon 封顶在 high,榜单因此把各模型的最高档配对比较。网站 11 月 19 日已挂出 Neon 四档的完整阶梯:low 29.7 分、medium 47.7 分,加上已列出的 high 57 分与 xhigh 63 分;耗时从 10.8 分钟升到 75.9 分钟,估算费用从 5.29 美元升到 46.34 美元——这组阶梯与官方「四个思考档稳步缩放」的说法方向一致。

跨模型看,Neon(xhigh)的这份估算费用高于 Astra(max)的 28.35 美元、远低于 Fable 5.2(max)的 139.65 美元;Fable(max)还用了 142.8 分钟才跑完两个仓库。网站提醒耗时只能宽松解读:各行统计口径相同(两个仓库的 agent 时间,不含依赖安装),但 Neon 各行跑在 Huryn 的笔记本与订阅登录上,Astra、Fable、Carbon 多数行跑在云端 Linux 机器上;Neon(xhigh)的六段任务里有五段曾因订阅的 5 小时用量窗口中断后续跑,耗时不含等待。105 个 bug 里,有 19 个至今没有被任何模型在任何一轮修好。

「在该价位下令人印象深刻」:发布日的各方口径与价格坐标

Neon 发布当晚,Google Gemini 团队的 Logan Kilpatrick 发帖称模型已在 AI Studio 与 Gemini API 上线,评价它「实力超出其所在的模型级别」(punches above its model class);Keras 与 ARC-AGI 的作者 François Chollet 写道:「在该价位下,成绩数字令人印象深刻」(Really impressive numbers at that price point)。这两句都是单方评价:前一句出自发布方自己的团队,后一句是 Chollet 的个人判断,帖文未附具体数字。

同一天,Cursor 宣布 Neon 上线其平台,并自称在自家的 CursorBench 4.1 上以默认档跑出 63.7%,高于 Gemini 4 Hydrogen 的 57.3%,刷新了「性价比前沿」(cost-performance frontier)——这是 Cursor 对自家基准的厂商口径。VentureBeat 的报道补齐了价格坐标:Neon 的 3/15 美元定价比 Claude Sonnet 5.5 与 GPT-6.2 Sol 的 2/10 美元高 50%,但比 Claude Opus 5.5 的 4/20 美元低 25%,同时在两个工程基准上与 Opus 5.5 分差约 1 个百分点;Carbon 在 11 月 30 日前仍有 2/10 美元的推介价,12 月 1 日起升至 4/20 美元。这篇报道还指出,可引用的同行榜单公开快照早于 Neon 发布——Huryn 的帖子补的就是这块空白:第一个公开给出分钟级耗时与逐轮费用估算的真实仓库端到端结果。

待复现的「第一」:4 分的运行波动、单一裁判与已披露的口径差异

这份成绩独立,但只出自一位评测者的自建方法学;截至发稿,还没有第二个独立来源的复现。榜单能支持的结论是:Neon、Astra、Fable、Carbon 的最好成绩同处头部区间;至于「第一」本身,Huryn 公布的运行数据就给出了误差范围——Neon(xhigh)三次运行分别得 65、63、61 分,Astra(max)三次 65、62、61 分,两组极差都是 4 分,0.3 分的榜首差距小于同一配置的运行波动。

方法边界也写在明面上。所有行由同一个盲评裁判(Grok 4.7)打分,换一个裁判是否会得出同样的排序,榜单没有回答;GPT-6.2 系列的行是抹平文件时间戳后重跑的,其余多数行保留原始时间戳,其他模型是否利用过时间戳未经核查——这一条写在 Huryn 的行注记里,不是别人挑出来的。费用列是列表价估算而非账单,网站术语表明确各行费用口径不一,不能互换解读。

接下来的可核对增量:Huryn 在原帖预告 medium、low 两档结果「马上发进推文串(thread)」,两档成绩(47.7 分、29.7 分)已先挂上网站,每一行的完整注记与逐次运行的明细在 GitHub 的 results/run-notes.md 公开。官方引述的 Coding Agent Index 第 1 与这份自建榜单的第 1 来自两套不同的方法;这个名次站不站得住,要看的是推文串的完整更新,以及其他评测者何时给出各自的复现。

参考链接

  • Paweł Huryn 的实测帖(X)
  • Paweł Huryn 的方法 FAQ 帖(X)
  • Bug Hunt Bench 榜单网站
  • Bug Hunt Bench 行注记(GitHub results/run-notes.md)
  • Google 官方发布文章《Introducing Gemini 4 Neon》
  • Google DeepMind 发布帖(X)
  • Logan Kilpatrick 发布帖(X)
  • François Chollet 评价帖(X)
  • Cursor 接入公告(X)
  • VentureBeat 报道

More from this developing story

  • Sundar Pichai 官宣 Gemini 4 Neon 当日开始推送:$3/$15 定价,覆盖 Gemini API、Antigravity 与 Gemini 应用付费档Nov 19, 2026
  • 首个独立实测将 Gemini 4 Neon 排到编码榜单第一:105 个重植 bug 修复 63 个,0.3 分险胜 GPT-6.2 AstraNov 19, 2026
  • Gemini 4 Neon 发布次日连获第三方实测:Parallel 称其居网页研究榜第一、最多便宜 10 倍Nov 20, 2026