AREX Feed Article
独立评测者 Paweł Huryn 实测 Gemini 4 Hydrogen:105 个重植 bug 修复 32.7 个、距 Sonnet 5.5 xhigh 档 3.3 分;Antigravity 同日上线 Orchestrator 双档
Gemini 4 Hydrogen 发布后不到一天,AI 产品经理 Paweł Huryn 在自己的 榜单上贴出他称为「首批结果」的:在两个生产代码库的 105 个重植 bug 中,Hydrogen 最高 xhigh 档三次运行平均修复 32.7 个,低于 Claude Sonnet 5.5 xhigh 档的 36.0,高于 Claude Haiku 5.5 max 档的 21.5。五个多小时后的 11 月 13 日 22 时(UTC), 官宣 Gemini 4 Hydrogen 进入 Google Antigravity,模型下拉菜单同时新增 Orchestrator (Carbon) 与 Orchestrator (Argon) 两个形态,在同一会话内由重模型规划、Hydrogen 执行写码与测试。
Hydrogen 是 Google 于 11 月 12 日发布的快速日常编码与智能体模型,官方将其定位在 Carbon 与 Argon 两款前沿模型之下,称其为「智能体工作流的日常主力」,完成任务速度为 Gemini 3.8 Flash 的 2.5 倍,API 定价每百万 token(词元)输入 1.5 美元、输出 7.5 美元()。 转述的 Artificial Analysis 独立指数给其最高 xhigh 档(Google 新设的最高思考档)54 分、默认 high 档 51 分,比 Sonnet 5.5 与 GPT-6.1 Sol 的最强档各低 1 分——这是 Google DeepMind 六周内的第三款新模型。两套测量的口径并不相同:指数测的是跨任务的通用智能,Huryn 的榜单测的是真实仓库里能否修好一个具体的 bug。
Bug Hunt Bench 的题目库与盲评规则
Bug Hunt Bench 由 Huryn 运营,他是面向产品经理与开发者的通讯 The Product Compass 的作者。榜单的题目库是两个互不相关的生产代码库:一个约 2.8 万行的 TypeScript VS Code 扩展(45 个 bug)和一个约 6 万行的 React/Supabase 学习管理系统(60 个 bug)。据,绝大多数题目是把仓库自身修复历史里的修复提交回退、重新植入的真实回归;测试套件保持全绿,不给模型任何指向答案的线索。被测模型拿同样的提示词,在各自的官方智能体命令行工具(CLI)——Claude Code、Codex CLI 或 Antigravity CLI——里对每个仓库各跑一轮,产生的代码改动(diff)——而不是模型的自我报告——作为评分依据,由不知道模型身份的独立评测者对照扣留的答案键盲评。分数只计 105 个重植 bug 的修复;模型顺手修掉的题外问题单独记录、不计分,防止靠罗列问题刷分。
11 月 13 日的这次更新把 Hydrogen 的四个思考档全部搬上榜单——Huryn 在推文里预告「今晚在本帖补齐更多档位」,当天榜单页就给出完整结果。截至该次更新,全榜共 220 行结果、341 次评分运行。
Hydrogen 的四档成绩与 Huryn 的四条对比
Hydrogen 自己的阶梯是:xhigh 档 32.7(三次运行分别修复 43、27、28 个),high 档 28.3,medium 档 24.7,low 档 10.3。Huryn 在推文里的四条对比,其中两条未注明用的是哪一档;与数据吻合的是 high 档:对 Claude Haiku 5.5 (max),Hydrogen high 档更强(28.3 对 21.5)也更便宜(4.42 美元对 5.83 美元);对 GPT-6 Luna (max),Hydrogen high 档更强(28.3 对 18.3)、更快(18.8~25.2 分钟对 99.2 分钟)——但 Luna 每次全量运行只要 0.52 美元,所以推文只说「更强、更快」,没提更便宜。对 GPT-6.1 Terra (xhigh) 的「明显高于」:Terra 该档只有 11.3 分, 注明 Terra 在这个档位只用了 max 档约十分之一的推理 token、提前收工,低分是该档位下的模型行为而非运行故障。
| 模型(思考档) | 修复 / 105 | 运行次数 | 每次成本 | 耗时 |
|---|---|---|---|---|
| Gemini 4 Carbon(high) | 57.3 | 3 | 31.32 美元 | 114.0 分钟 |
| GPT-6.1 Sol(xhigh) | 42.7 | 3 | 4.35 美元 | 98.7 分钟 |
| DeepSeek V4.1 Flash(max,DeepSeek Harness) | 42.7 | 7 | 1.84 美元(实付账单) | 62.1 分钟 |
| Gemini 4 Argon(high) | 40.7 | 3 | 7.16 美元 | 56.5 分钟 |
| Claude Sonnet 5.5(xhigh) | 36.0 | 3 | 42.86 美元 | 72.7 分钟 |
| Gemini 4 Hydrogen(xhigh) | 32.7 | 3 | 7.07 美元 | 27.9~48.9 分钟 |
| Gemini 4 Hydrogen(high) | 28.3 | 3 | 4.42 美元 | 18.8~25.2 分钟 |
| Gemini 4 Hydrogen(medium) | 24.7 | 3 | 2.10 美元 | 10.4~30.4 分钟 |
| Claude Haiku 5.5(max) | 21.5 | 2 | 5.83 美元 | 32.5 分钟 |
| GPT-6 Luna(max) | 18.3 | 3 | 0.52 美元 | 99.2 分钟 |
| GPT-6.1 Terra(xhigh) | 11.3 | 3 | 0.75 美元 | 15.9 分钟 |
| Gemini 4 Hydrogen(low) | 10.3 | 3 | 0.43 美元 | 7.0~7.4 分钟 |
表中成本为按各家官方牌价折算的估算,仅 DeepSeek 行是实付账单;Hydrogen 行按其 API 牌价折算,作者据 Argon 行的核对经验提示这类估算可能偏低。每次全量运行指在一个档位上跑完两个仓库的全部 105 题,耗时为实际经过的墙钟时间(wall clock)。成本一侧,Hydrogen xhigh 档每次约 7.07 美元,约为 Sonnet 5.5 xhigh 档(42.86 美元)的六分之一。评测者并不完全统一:Hydrogen 四档均由 GPT-6.1 Sol 盲评(作者惯用的 Grok 评测者余额耗尽),Carbon 行由 Grok 4.7 盲评、Argon 行由 GPT-5.5 盲评;作者在一处交叉核对里记录,两位评测者打分接近但「不可互换」。
xhigh 档的领先建立在单次 Pro 订阅运行上
xhigh 档是这份成绩单里最需要小心读的一行。三次运行的分数是 43、27、28,离散 16 分:第一次跑在 Google AI Pro 订阅上,账号随后转到 AI Ultra,后两次都在 Ultra 上完成。Huryn 在注释里写明,由于只有一次运行在 Pro 上,榜单无法区分这个差异来自订阅计划还是运行方差;同为 Ultra 时,xhigh 两次平均 27.5,反而略低于 high 档的 28.3——他的原话是「打平,且 high 档更便宜更快」「xhigh 档的领先建立在唯一一次 Pro 运行上」。探针测试确认 xhigh 档确实思考更多:7,691~12,769 个思考 token,对 high 档的 5,400~6,161。
那次 43 分的 Pro 运行还顺手修复了 74 个题外 bug(其中 73 个集中在第二个仓库),模型在该档把编辑面铺得很开——这些修复照例不计分。验证上另有一个边界:Hydrogen 经 Antigravity CLI 1.5.8 以订阅登录运行,这条路径无法在请求层面读回实际服务的模型,只能依据 CLI 的自报。
Antigravity 上线 Orchestrator (Carbon)/(Argon):重模型管规划,Hydrogen 管执行
11 月 13 日 22 时 08 分(UTC), 宣布 Gemini 4 Hydrogen 进入 Google Antigravity,并在模型下拉菜单推出新的 Orchestrator 模式,含 Orchestrator (Carbon) 与 Orchestrator (Argon) 两个形态。Google 给出的理由写在推文里:「在每个小改动上都跑重型前沿模型,会拖慢你、烧掉配额。」Orchestrator 的机制是:Carbon 或 Argon 在同一会话里探索依赖、制定计划;Hydrogen 快速写码、更新依赖包并运行测试;测试失败时,重模型回接、调整计划后继续执行。
把这套机制与静态「模型路由器」做了区分:路由器按第一条提示猜测任务难度、把整个任务路由给「够用且最便宜」的模型,任务演化后就失灵;Orchestrator 则在单条任务轨迹内随阶段动态双向切换。博客同时给出官方口径:Orchestrator 在 Terminal-Bench 4.1 上取得接近 Carbon 的任务成功率,平均少耗 24% 配额、快 19%——这些数字目前只有 Google 自报。分档方面,AI Ultra 订阅用户可用两个形态,付费 AI Pro 用户可用 Orchestrator (Argon),企业用户经 Gemini for business 获取两档;博客还提到 Carbon 与 /swarm(并行代理群集功能)本周早些时候上线后,「短短几天已有数万个 swarm 在 Antigravity 上启动」。
当天,Gemini 应用官方账号连发两个 Hydrogen 演示:把全球实时雷击映射成生成式配乐与视觉涟漪的,以及用自定义技能从公共领域档案影像剪出、以元素「氢」为主题的——均为官方单方演示。
智能指数中领先 Argon 4 分,真实仓库榜单中落后 8 分
两份独立成绩单在 Argon 身上给出了相反的排序。Artificial Analysis 的智能指数里,Hydrogen(xhigh,54 分)比更大的 Argon(50 分)高 4 分;Huryn 的真实仓库榜单里,Hydrogen xhigh 档的 32.7 比 Argon high 档的 40.7 低 8 分,比 Carbon high 档的 57.3 低 24.6 分——而三次运行的成本(7.07 美元)与 Argon(7.16 美元)几乎持平,耗时(27.9~48.9 分钟)明显短于 Argon 的 37.4~84.7 分钟。由于两行的盲评者不同(Hydrogen 行由 GPT-6.1 Sol、Argon 行由 GPT-5.5 盲评),这个反差只能作为参考,不是严格同口径的对比。
Artificial Analysis 自己也标出过 Hydrogen 的弱项:Terminal-Bench 4.0 上它得 54%,低于 Claude Sonnet 5.5 的 64% 与 GPT-6.1 Sol 的 56%;xhigh 档的冗长度在 77 个模型里排倒数第二,每任务 13.7 分钟(据 Trending Topics 转述)。Huryn 的评论区里,有开发者直接点出「在这份榜单上 Hydrogen 比 GPT-6.1 Sol 更差也更贵」——榜单上 Sol xhigh 档 42.7 分、每次 4.35 美元,对 Hydrogen xhigh 档 32.7 分、每次 7.07 美元,与榜单数据一致。榜单前部也不全是旗舰价:DeepSeek V4.1 Flash 在 DeepSeek 自家的智能体框架(Harness)里以 42.7 分、1.84 美元实付账单完成全量运行。
眼下能核对的边界是:这份榜单的全部 220 行结果都出自 Huryn 一人的运行,方法与原始数据公开在 GitHub 上;Google 的 Orchestrator 效率数字则只有官方自报口径。Huryn 给 Hydrogen 的定位写在推文末尾——「非常适合当真正能干活的快速子代理(subagent)」——在他自己的榜单上对应的数字是 high 档 28.3 分、每次 4.42 美元、耗时不到 26 分钟;这个定位在别人的仓库和工作流里是否成立,公开数据里眼下还只有这一份榜单。