AREX Feed Article
Vals AI CEO 称 Google 在发布 Gemini 4 Argon 时引用其基准:Argon 登顶 Vals Index、22 项基准中 20 项进前五
10 月 1 日,基准评测机构 Vals AI 的 CEO Rayan Krishnan 称,Google 发布 Gemini 4 Argon 时「展示了我们的大量基准结果」:Argon 在 Vals AI 的 22 项基准中有 20 项进入前五,并成为 Vals Index 的新第一名。他在帖文开头注明,以下内容是「个人看法」。
帖文中的两项关键说法都能在 Vals AI 官方账号 9 月 30 日的两条评测帖中找到:确认 Gemini 登上 Vals Index 榜首、得分 68.9%,同样给出了 20 项进前五的排名。Google 自己的发布材料也确实多处标注了来自 Vals AI 的结果。Krishnan 在帖文里另外补充了对 Vibe Code Bench、价格与 RSI Index 的个人解读。
Google 发布材料里的 Vals 数据
Google 于 9 月 30 日发布 Gemini 4 Argon。在中,Google 写道,除编码之外,Argon 还是「Vals Index 上的领先模型」——该指数衡量模型在金融、编码、法律与税务工作上的经济影响,每个板块按其对美国 GDP 的贡献加权。博客里嵌入了一张 Vals Index 柱状图,也就是本文首图;图下的评测方法链接指向 DeepMind 的 Gemini 4 Argon 评测页。
Google DeepMind 随发布公开的标出了数据出处:Vals Index、Vals Finance Agent v2、Harvey's Legal Agent Benchmark 三项结果「来源为 Vals AI」,Vibe Code Bench 的结果「取自 Vals AI 官方公开榜单」。
TechCrunch 的报道同样提到,Google 引用 Vals——一家「越来越受欢迎的」AI 基准初创公司——来展示 Argon 是 Vals 模型指数上的领先模型。
Vals Index 第一次由 Gemini 登顶
Vals AI 的显示,Gemini 4 Argon 以 68.90% 在 41 个模型中位列 Vals Index 第 1,单次测试成本 15.68 美元。排在它身后的是 Claude Sonnet 5.5(67.04%,21.34 美元)、Claude Opus 5.5(66.97%,32.14 美元)与 Claude Fable 5.1(65.83%,28.71 美元)。成本随任务类型变化:长程任务上,Code Migration 的单次测试成本升至 57.82 美元。
Vals 的帖文称,这是第一次有 Gemini 模型登上该指数榜首。
Vals Index 是把四个板块按美国 GDP 份额加权的指数:显示,它聚合 8 个基准(6 个私有、2 个公开),分为金融(Finance Agent v2、Excel 建模 EMB)、编码(Terminal-Bench 4.0、Vibe Code Bench、Code Migration)、法律(Legal Research Bench、Harvey's Legal Agent Benchmark)与税务(Tax Agent Bench)四个板块,板块权重取自各行业在美国 GDP 中的份额:金融与保险约 8.0%、信息业约 5.6%、法律服务约 1.2%、会计与税务约 0.5%。9 月 25 日,该指数更新到 v2.1:新增税务板块,编码板块换成了更难的 Terminal-Bench 4.0。
成绩单:IOI 以满分并列第 1,CUA-bench 得 4.83%
按 Vals 评测页记录的成绩单:Argon 在 Finance Agent v2(65.40%,73 个模型)排第 1,并与 GPT-6 Astra 并列 IOI 第 1(100%);Vibe Code Bench(91.91%,106 个模型)、Code Migration(68.17%,71 个)、CyberBench(77.86%,43 个)均为第 2,其中 Vibe Code Bench 的第一是 Claude Sonnet 5.5(92.39%),Code Migration 的第一也是 Sonnet 5.5(69.83%)。第 3 名包括 LegalBench(88.30%)与 MedCode(58.80%);Harvey's Legal Agent Benchmark 排第 5(19.58%,73 个模型)。失分项是 MedScribe(87.43%,106 个模型中第 15)与 CUA-bench(4.83%,8 个模型中第 7)。
第二条评测帖还称,Argon 相较前代 Gemini 3.8 Flash 是「一次大步提升」,「在跑过的每一项基准上都有进步」,且在金融、法律、编码与安全方面「尤其强」。
Krishnan 的个人补充:30/50、半价与 RSI
编码方面,Vibe Code Bench 测的是模型从自然语言需求出发、从零构建完整 web 应用的能力()。Krishnan 称 Argon 在该基准上「排第一,完美构建的 web 应用数量最多(30/50)」;Vals 评测页面对同一基准的记录是整体准确率 91.91%、列第 2;「完美应用数量」与「整体准确率」是两个不同的度量。他称 Argon 在 Code Migration 上列第 2,这一点与评测页一致。
价格上,他写「这里的 SOTA 没有溢价」(SOTA 指当前最优水平):实际使用中该模型价格约为 Opus 5.5 的一半,比 Astra 6 便宜 15%。可以对照的一组数字是:Argon 跑 Vals Index 的单次测试成本 15.68 美元,Opus 5.5 为 32.14 美元。不过 Google 与 Vals 对 token 价格的记录不同:Google 公布的首发优惠价是每百万输入 token 2 美元、输出 10 美元;Vals 评测页与概览卡写的是每百万输入 4 美元、输出 20 美元。
关于 RSI Index,他称 Argon 在该指数上「大幅跃升」、「完全越过了 OpenAI」、现在「仅次于 Opus」。Vals 评测页记录的成绩是 30.55%、23 个模型中第 4。介绍,该指数让模型在固定算力与时间预算下做开放式的 AI 研发任务,用来衡量它们距离「递归自我改进」(Recursive Self-Improvement,指 AI 在没有人类参与的情况下自主开发后继系统)有多远。他在帖文里写道:「随着模型开始超越人类研究员,对 RSI 的倾向将越来越是实验室能否留在前沿的领先信号。」
未全面发布的 Argon,和发布当天的股价
Google 在博客里把 Argon 的发布描述为「分阶段」推进:目前它只通过 Fairwind 计划向一批受信任的网络防御者开放;Google 正参与美国政府关于模型发布前访问的自愿性程序,并会在扩大开放前继续根据早期测试者反馈迭代防护措施。
Krishnan 在帖文中写道:「模型还没有发布,而 GOOG 已经出现了可观的上涨。」称,发布当天(9 月 30 日)盘后 Alphabet 股价上涨 1.70%、报 346.52 美元(截至该报道发稿)。
他在帖文最后写道:「随着其他实验室上市、AI 支撑起更大一部分经济,第三方基准将成为 AI 实验室价值的最佳预测指标。智能市场正在理性化。」
博客称,Argon 会「尽快」面向开发者、企业与消费者推出,率先从付费 API 客户与 Google AI Ultra 订阅者开始。