AREX Feed Article
Artificial Analysis 复测 Gemini Decision 1：总榜 66 分落后领先者 7 分，任务成本约为 Drex Max v1.1 的 3 倍
独立评测机构 Artificial Analysis（AA）于 11 月 11 日 18:18（UTC，北京时间 12 日凌晨）在中公布了对 Google 首个决策模型 Gemini Decision 1 的复测结果：在 Artificial Analysis Decision Index v2.1 上得 66 分，落后并列领先者 Drex Max v1.1 与 GLiDE v1.2（均 73 分）7 分；在 AA 的专有分类与抽取基准 AA-Paperclip 上，15 题全对的文档占比为 33%，约为 Drex Max v1.1（63%）的一半；按榜单全部任务估算，每 100 万任务成本 345 美元，约为 Drex Max v1.1（103 美元）的 3 倍。复测同时确认了官方说法中的两点：知识与推理类基准领先，推理任务校准居第一梯队。
这组分数与 Google 发布日的官方口径形成对照。同日 20:12（UTC），确认了发布本身，并转载了 Google 的官方对比图表，图表说明称 Gemini Decision 1 “在智能体路由、推理与多模态理解等类别上领先整个基准套件，同时取得最低校准误差（Top-1 ECE）”。但这张表的对照对象只有 TypeSafe Jev 1.14、OpenAI 的 GPT-6 Luna（Decisions API）与 Gemini 3.5 Flash-Lite 三款。
Gemini Decision 1 由 Google DeepMind 于 11 月 11 日发布，面向 yes/no、多选与量表评分三类封闭集判断：单次调用最多处理文本、图片、音频、视频与 PDF 中的 1,000 个独立问题，直接对选项打分并返回概率与置信值，延迟 150～250 ms；输入价格 0.10 美元/100 万 token、输出不计费，Google 称约比 Gemini 3.5 Flash-Lite 便宜 5 倍。Google 表示内部已将其用于 Gemini Notebook 的动态模型路由、Stitch 设计原型与 Google Search 安全检查。以上规格与用例均经 The Decoder 报道确认，性能与定价数字转述自 Google。The Decoder 同时指出，类似的决策模型近几周接连出现：创业公司 Jev 先推出，OpenAI、Cloudflare 与 Microsoft 随后跟进。
复测榜单：与 Elephant 9B、Jev 1.14 同档，领先集中在知识与推理两项
复测中，Gemini Decision 1 的 66 分与 Elephant 9B、TypeSafe 的 Jev 1.14 处于同一水平。分项来看，AA-Omniscience-Decision 得 66 分、HLE-MultiChoice 得 49 分，这两项属知识与推理类，也是它领先的地方；其余评测则落后于领先者。
AA-Paperclip：1,500 份私有文档，每份 15 题全对才算通过
AA-Paperclip 是 AA 自建的分类与抽取基准，中公开了机制：1,500 份私有文档，每份含 5 个决策题与 10 个事实抽取题，共 15 问；关键指标是“15 题全部答对”的文档占比，在 Decision Score 中，文档置信度取 15 个答案概率的乘积。在这项基准上，Gemini Decision 1 全对文档占比 33%，Drex Max v1.1 为 63%，GLiDE v1.2 为 62%。AA 当时解释过这道门槛的作用：单题正确率接近的模型会被“全对”要求拉开，Drex Max v1.1 单题正确率 97%，全对文档率却只有 63%；决策模型丢分主要丢在决策题上，Drex Max v1.1 全部 5 个决策都答对的比例为 71%，10 个抽取全对的比例为 88%。说明帖中的对照还显示，通用模型 Claude Haiku 5.5（Max）与 GPT-6 Luna（Max）的全对率分别达到 92% 与 86%。
成本：价差来自输入单价 0.10 美元对 0.03 美元
按 AA 对榜单全部任务的估算，每跑满 100 万个任务的花费为：Gemini Decision 1 345 美元，Drex Max v1.1 103 美元，Jev 1.14 156 美元，GPT-6 Luna（Decisions）339 美元。Gemini 与 Luna 相近，比 Drex Max v1.1 多出约 242 美元。价差主要来自输入单价：Gemini Decision 1 为 0.10 美元/100 万 token，Drex Max v1.1 为 0.03 美元。Google 自己的图表里也有成本一行：按 7 项共用评测合计的“总价”，Gemini Decision 1 为 0.88 美元，TypeSafe Jev 1.14 为 0.68 美元。
校准：Brier 0.18，When2Call 上与 Drex Max v1.1 差距明显
AA 用 Brier 分数衡量校准，即模型给所选答案分配的概率与该答案实际对错之间的平均平方差，越低越好。Gemini Decision 1 在整个榜单上的 Brier 分数为 0.18，介于 Drex Max v1.1（0.16）与 Jev 1.14（0.19）之间；在 HLE-MultiChoice 上为 0.20，是全榜最低之一。校准表现因任务而异：在 When2Call 上，Gemini Decision 1 为 0.14，Drex Max v1.1 为 0.04。官方图表里的校准指标则是 Top-1 ECE：在 7 项共用评测上，Gemini Decision 1 为 0.0250，低于表内的 Jev 1.14（0.0494）、GPT-6 Luna（0.0721）与 Gemini 3.5 Flash-Lite（0.2104）。“校准误差最低”在这张四模型对照表内成立；换成 AA 的指标和更大的模型范围，结论是第一梯队、并非全面最低。
口径差：官方对照表没有 Drex Max v1.1 与 GLiDE v1.2
分歧的来源很具体：AA 的总榜纳入了 Drex Max v1.1 与 GLiDE v1.2，而这两款不在 Google 发布日的官方对照名单里。验证端也有边界：AA-Paperclip 的 1,500 份文档为私有，随帖文公开的是计分规则与结果数字。AA 复测给总榜成绩的定性是：尚未达到前沿水平。