AREX Feed Article
Artificial Analysis 与 Google DeepMind 联合发布 MKA 基准：Claude Fable 5.2 以 57% 居首，Gemini 4 Carbon 用五分之一成本拿下 54%
北京时间 11 月 11 日凌晨，独立 AI 评测机构 Artificial Analysis 宣布与 Google DeepMind 合作，推出后者设计的 Multimodal Knowledge Agent（MKA）基准——测试智能体在复杂视觉文件上完成知识工作的能力，并在 里公布了首批成绩：Anthropic 的 Claude Fable 5.2 (max) 以 57% 的 Climb WSR 居首，Google 的 Gemini 4 Carbon (high) 以 54% 居次，Claude Opus 5.5 (max) 得 53%。
前三名只差 4 分，成本却拉得很开：按 Artificial Analysis 的口径，Fable 5.2 平均每任务 31.97 美元，Gemini 4 Carbon 只要 6.29 美元。基准由 200 项跨 10 个行业的私有真实任务构成，输入是建筑图纸、工程原理图、临床扫描这类密集视觉文件，产出是幻灯片、电子表格、PDF、Word 文档和标注图片；所有任务在 Artificial Analysis 的开源智能体运行框架（agent harness）Stirrup 中运行，交付物交给 GPT-6 Luna (medium) 担任的智能评审打分。Artificial Analysis 在公告结尾向 Google DeepMind 团队致谢，感谢他们「构建这个基准，并与我们合作把它独家带给 Artificial Analysis」。
Climb WSR：约 70 项加权检查，另一个模型当裁判
MKA 的每项任务都按专家量规打分，平均约 70 项加权标准。标准分两层：Regression 是模型理应通过的基线检查，Climb 是专门用来区分强模型的更难检查；对外公布的头条分数 Climb WSR（Weighted Satisfaction Rate，加权满足率）就是 Climb 类标准的加权完成比例。所有模型在同一套环境里跑：Stirrup 配备代码执行、网页搜索、网页抓取和查看图片四类工具，轮数上限 250 轮。
补充了量规的构成：每份量规是约 70 项「是/否」检查，权重按 75% 事实准确性、25% 视觉设计分配。自动评分器会打开每份交付文件、渲染页面、检查电子表格里的公式，再逐条对照量规。Google 称，当领域专家亲自给模型产出打分时，与这个自动评分器的一致率是 96%——这是 Google 的自报数字。
83 种职业的专家出题，每项任务是 3～8 小时的工作量
MKA 的题由 Google 与 10 个行业、83 种职业的领域专家合作设计，出题人里有建筑师、生物学家、核保师和数据科学家；每项任务对应一个资深专业人士要做 3～8 小时的多步骤项目。Artificial Analysis 强调，与许多智能体评测不同，这些输入强调真实的视觉复杂度和行业专属性，而且是完成任务所必需的，不只是背景补充。
公开的示例能看出这种设计。Google 在 ，仓库说明写道，每项任务包含一个多文件工作区，其中的视觉工件是「承重」（load-bearing）的——建筑 CAD 蓝图、电气与射频原理图、地理空间栅格、生化凝胶与分光光度板、多轴图表，单靠 OCR（光学字符识别）提取文本解不出来；产出物是 .xlsx、.pptx、.docx、.json 或结构化技术报告。展示的示例来自 Construction 行业的建筑师角色：模型要对照五张平面图、两个剖面和四个立面，逐层审计门窗开洞在图纸上的表达，输出一份不超过 10 页、只列异常项的协调审计 PPT，输入文件有 12 个。
保密也是设计的一部分：200 项正式任务由 Artificial Analysis 保管、保持私有，防止泄入训练数据或被模型通过搜索找到；公开的只有这 10 个示例。
头名分散在五个模型里，没有模型领跑全部行业
公告附带的柱状图共列出 21 个模型：榜首之后依次是 Claude Sonnet 5.5 (max) 52%、Gemini 4 Argon (high) 51%、GPT-6 (max) 50%；榜尾的 Step 5 Preview 得 28%。
总分咬得很紧，十个行业的头名却换了不少名字。Artificial Analysis 的分项统计显示：Claude Fable 5.2 领先 Software & Data、Engineering、Logistics & Mapping、Business、Finance 五个行业；Education 和 Construction 归 Claude Opus 5.5 (max)；Science 由 Gemini 4 Argon (high) 领先；Healthcare 由 Gemini 4 Carbon (high) 领先；Law & Government 由 Claude Sonnet 5.5 (max) 以微弱优势领先。
按产出文件类型统计，写道，六类产出之间的差距小于行业之间的差距：Fable 5.2 领先 PDF、Word 文档、电子表格（优势微弱）和演示文稿四类；图片类由 Gemini 4 Argon (high) 与 Carbon (high) 领先；文本文件类由 DeepSeek V4.1 Flash 1017 领先。最难的产出是 Word 文档和文本文件——没有任何模型在任一类别超过 52%。
中国厂商的模型也出现在首批榜单上：Kimi K3.1 Pro 得 44%，DeepSeek V4.1 Flash 1017 得 39%，Qwen3.8 Max 与小米的 MiMo-V2.6-Pro 均为 37%，GLM-5.3-Flash 36%，MiniMax-M3.1-Flash 33%。
每任务成本差近 30 倍，OpenAI 四款模型落在 Pareto 前沿
成本的差距远大于分数的差距。Fable 5.2 平均每任务 31.97 美元，是 Gemini 4 Carbon（6.29 美元）的 5 倍多——多花的钱换来约 2 个百分点；对上 GPT-6.1 Sol（1.11 美元），差距约 29 倍。Artificial Analysis 把这组数字概括为：在距榜首 10 分以内的模型里，每任务成本相差近 30 倍。
Carbon 之下，受测的四个 OpenAI 模型——GPT-6 Astra、GPT-6.1 Sol、GPT-6.1 Terra、GPT-6 Luna——全部落在性价比 Pareto 前沿上（即不存在既更便宜、又更高分的对手），Claude Haiku 5.5 与 MiMo-V2.6-Pro 占据前沿的其余位置。评测页显示，GPT-6 Luna (Max) 每任务成本最低，只有 0.18 美元；Claude Haiku 5.5 (Max) 与 MiMo-V2.6-Pro 均为 0.32 美元。这一成本只计入被测模型自身的调用，评审模型的调用不计入。
Google 博客对同一结果的表述是 Carbon 的平均成本「约为榜首模型的六分之一」；按 Artificial Analysis 公布的每任务数字（6.29 美元对 31.97 美元）计算约为五分之一。两处口径略有出入，本文引用的成本数字以 Artificial Analysis 的发布为准。
为什么盯上视觉知识工作
Google 在博客里给出的出发点：多数知识工作基准「光靠文本就能解出，完全不需要看图像或页面版式」，而许多行业的日常专业工作是深度视觉化的——交叉核对建筑蓝图、追查工程原理图，再把发现整理成幻灯片、报告和表格。
Google 在博客中对随文发布的 做了两点概括：前沿模型在同一批任务上的效率差异极大，完成每项任务平均要用 30～130 轮；强感知能力是解题的必要条件，去掉视觉输入后，模型会尝试补偿，但以失败告终。
Google DeepMind Gemini 模型高级总监兼产品负责人 Tulsee Doshi 在 中写道：「我们一直在构建并使用这个评测，来测试真实工作里天然多模态的那部分。MKA 评测一系列视觉知识工作——比如模型能否读懂一张原理图或科学图表，并把它变成一份真正的幻灯片、文档或表格。」这条帖文发出于 Artificial Analysis 公告之后二十多分钟。
共建方、AI 裁判与尚未复现的成绩
这份榜单有两处结构性事实值得摆出来。其一，MKA 由 Google DeepMind 设计，Artificial Analysis 负责运行并独家发布成绩，而榜单上 Google 自家的 Gemini 系列与 Anthropic、OpenAI 等模型同场竞技——基准的设计方正是其中一家被测厂商的开发团队。其二，评审本身也是个大模型：GPT-6 Luna (medium)。Google 强调自动评分器基于非 Google 模型构建，但这个裁判出自 OpenAI 的 GPT-6 系列，同系列的其他配置也在同一榜单上受评。
截至双方发布的公告，榜单成绩与每任务成本均属 Artificial Analysis 的口径，两边都没有附上第三方复现结果。可以自己动手核验的部分已经上线：MKA 评测页挂在 Artificial Analysis 站内，10 个公开任务放在 Hugging Face，技术报告 PDF 随 Google 博客发布——想核对这份榜单的人，可以从这三处下手。