AREX Feed Article
Artificial Analysis 发布 AA-3D 基准：模型在沙盒把文字简报搭成可交互 3D 网页，Claude Sonnet 5.5 以 1194 Elo 居首，前四名统计并列
2026 年 10 月 12 日，模型评测机构 Artificial Analysis 发布新基准 AA-3D，并在配套文章《》中公布首批结果：让每个模型作为 agent（智能体）在离线沙盒中工作，把一段书面简报变成用 three.js 搭建的网页——一个能在浏览器里操作的交互式 3D 体验；再由该机构招募的人类评审团对同一简报下的作品两两盲测投票，按 Elo 排名。在其截至 2026 年 10 月 12 日的首批榜单数据中，Claude Sonnet 5.5 以 1194 Elo 排第一，但它与 Claude Opus 5.5、GPT-6 Astra、Claude Fable 5.1 的 95% 置信区间全部重叠——前四名在统计意义上并列。
榜单之外还有两条硬约束：每次运行最多 3 小时或 250 轮；搭建一个场景花费 0.20～32.08 美元，相差超过 160 倍。
从书面简报到 index.html：沙盒里的一次完整施工
每个模型拿到的是一段任务简报，外加一个所有任务共用的交付契约（delivery contract），示例简报短到只有「Kerr black hole」（克尔黑洞）一个词组。沙盒里预装 Blender、Rapier physics、Python、无头浏览器和一个 CC0 素材库（可自由使用的免版权素材）；模型自己写代码、渲染场景、查看自己截的图、再回头修改。运行在触及任一上限时停止，交付物是一个能在浏览器里运行场景的 index.html 页面。整套流程跑在 Artificial Analysis 开源的 agent harness 上。
排名来自评审团的盲测投票：同一段简报下，两个不同模型的作品并排出现，评审不知道各自出自谁，投出偏好的一票。任务覆盖 7 个领域——地标与真实地点、机械、自然现象、生命体、游戏与运动与驾驶、太空、故事与奇幻；首批榜单收录 21 个模型，任务共 55 个场景。Artificial Analysis 同时在官网开放投票页，让访客比较不同模型对同一简报的作品，但页面注明这些投票不计入榜单。
两个头部模型的施工节奏差别很大。在文章展示的一次运行回放里，GPT-6 Astra 第 6 分钟就产出第一个完整页面，68 分钟收工；Claude Sonnet 5.5 前 42 分钟没有可看的东西，一直工作到 2 小时 58 分。
前四名全部来自 Anthropic 与 OpenAI，开放权重模型落后 200 多分
第一名的 1194 只比 Claude Opus 5.5 的 1190 高 4 分，GPT-6 Astra 的 1165 和 Claude Fable 5.1 的 1131 所在的 95% 置信区间也全部与榜首重叠。这四个位置由三个 Claude 模型和一个 GPT-6 模型包揽，全部来自 Anthropic 与 OpenAI。再往后是 GPT-6 Sol（1123）和 GPT-6.1 Sol（1114）分列第五、第六，Meta 的 Muse Spark 1.3 以 1035 排第七。
开放权重模型与榜首的差距更清楚：最好的 Kimi K3 以 982 排第 11，MiMo-V2.6-Pro 以 977 排第 12，落后 200 多分；榜单末位的 Nemotron 3 Ultra 只有 569 Elo，与榜首相差 625 分。
这种领先不挑领域：7 个领域里有 6 个由前五名模型拿下最高胜率；生命体领域则是总排名第六的 GPT-6.1 Sol 与 Claude Sonnet 5.5 并列在顶，差距不到 1 分。文章同时给出口径——分领域胜负基于超过 1 万次评审投票，每个格子只有 2～10 个场景支撑（中位数 7 个），12 分以内的差距都在噪声范围内。
输入 token 占 69%：花钱多少与名次不对齐
GPT-6 Luna 是最便宜的一个：单场景 0.20 美元，排在第 8，而且完成了全部 55 个场景；最贵的是 Claude Fable 5.1，单场景 32.08 美元。输入 token 占总花费的 69%，原因是 agent 每一轮都要重发全部上下文；从 token 数量看，输入占 97%～99%，其中大部分命中缓存。
花钱多少与名次并不对齐。前五名中 GPT-6 Sol 最便宜，单场景 3.46 美元；Claude Sonnet 5.5 是它的 4.4 倍，Claude Fable 5.1 是 9.3 倍。Kimi K3 的单场景花费是 GPT-6 Luna 的 68 倍，Elo 却与 Luna 相近（982 对 1000）。
写得多也不等于分高：output token 数与 Elo 没有明显相关（Spearman 秩相关 0.33，不显著）。Claude Sonnet 5.5 每个场景平均写出 56.9 万 output token、约三分之二是 reasoning token，而排第五的 GPT-6 Sol 只写 10.9 万。轮数同样解释不了名次（Spearman −0.27，不显著）：GLM-5.3 在 64% 的场景里撞上 250 轮上限，GPT-6.1 Sol 和 GPT-6 Astra 的中位数只要 56 轮和 60 轮，代价是每轮耗时约 2 分钟。
分数差写在行为里：早看渲染、多放控件、少翻文档
Elo 上的差距对应到行为轨迹上，最明显的是模型什么时候第一次看自己的作品：前五名模型第一次查看自己场景截图的中位数在 10～13 轮，至少 89% 的场景在 20 轮内看过自己的图；第 14～20 名要拖到 15～40 轮。在 19 个带看图工具的模型里，看得越早与 Elo 越高高度相关（Spearman 0.82）。反例是 MiniMax-M3：它每个场景看自己 54 次、全场最多，但只有 7% 的场景在 20 轮内看过，最后排第 19。
工具时间的分布同样一边倒：agent 有 82% 的工具时间花在浏览器里测试页面——这类测试只占工具调用的三分之一，但单次要 33～38 秒，把每场景约 30.7 分钟的工具时间占掉约 25 分钟；写代码只占工具时间的 6%。前五名读文件和文档的频次约为其他模型的一半（每场景 9.4 次对 18.7 次），在全部 21 个模型里，读得越少 Elo 越高（Pearson 相关 −0.74）。页面本身也在拉开差距：前五名的场景中位有 15～20 个按钮和输入控件，后三名只有 6～8 个，控件数与 Elo 的相关性（Pearson）达到 0.90。渲染速度则不构成区分——所有模型的中位帧 GPU 耗时都低于 1.3 ms，远低于 60 fps 给单帧留出的 16.7 ms。
通用智能指数解释大半排名，GPT-6 系列跑赢趋势
Artificial Analysis 把 AA-3D 的 Elo 与自家 Intelligence Index（通用智能指数）对齐后发现，后者能解释大部分排名：指数每高 1 分约对应 18 Elo（Pearson 0.92），拟合优于 Terminal-Bench 4.0（0.81）和 SciCode（0.76）。跑赢这条趋势线的是 GPT-6 系列——GPT-6 Luna 高出 141 Elo，GPT-6 Sol 高出 93，GPT-6 Astra 高出 46。
掉得最远的是 GLM-5.3，比趋势低 197 分。它没有看图工具，是榜单上两个纯文本模型之一，文章认为这可能解释了部分差距，但同一个家族给出了反证：Z AI 的 GLM-5.3-Flash 能看图，在更低的 Intelligence Index 下反而比 GLM-5.3 高出 149 分；而另一个纯文本模型 Nemotron 3 Ultra 就贴在趋势线附近。
细节为什么赢得选票，这批数据还答不上来
评审偏好也有量化描述：每个任务里细节最丰富的五分之一场景，截图体积是细节最少的五分之一的 2 倍（168 KB 对 84 KB），空画面比例只有后者的约三分之一（22% 对 60%），它们赢得 63% 的选票，后者只有 31%。但文章紧接着给出限定：模型的 Elo 本身就能分别预测 61% 和 33% 的得票率——详细场景大多出自强模型。
同一模型内部，效应小得多：细节多 1 个标准差，得票率只多约 1.5 个百分点（依细节指标口径在 1.3～1.8 之间）。86 项场景指标里只有 11 项通过统计校正，包括细节类指标、渲染分辨率与抗锯齿、每帧 GPU 时间和页面元素数量，且没有一项能让得票率变动超过 4 个百分点。素材库是同一个故事：四分之三的场景用了 CC0 素材库，更爱用库的模型排名也更高（Spearman 0.53），可一旦考虑对手强弱，用库的场景并不比不用的赢得更多票；GPT-6 Luna 只有三分之一的场景用库，照样排第八。这批分析基于 1,008 个场景（剔除了 23 个在投票页上无法运行的场景）。
这份榜单出自 Artificial Analysis 自建的基准、自家的 agent harness 和招募的评审团，新模型发布后会继续加入榜单。至于细节到底是让模型胜出的原因，还是强模型的副产品，文章自己把界限画在这里：“这批数据无法说明细节是不是这些模型强的原因之一。”