AREXOpen in interactive Feed

AREX Feed Article

Artificial Analysis 发布 AA-Robotics v0.1 机械臂评测:GPT-6 Astra 69 分居首,模型仍比人类慢约 100 倍

October 15, 2026

北京时间 10 月 15 日早间(UTC 时间 10 月 14 日 22:37),独立 AI 评测机构 在官方 X 账号与官网同步发布 AA-Robotics v0.1。这是一份研究预览版评测基准,公告第一句是「欢迎来到具身 AI 的时代」:把前沿语言模型放进编码 agent(智能体)框架,直接控制一台 6 轴机械臂——5 个关节加 1 个夹爪——测试它们在物理世界中的理解、规划与行动,首批公开 8 项零样本桌面任务的成绩。GPT-6 Astra 以 69 分排第一,GPT-6.1 Sol 65 分,Gemini 4 Argon 55 分,Claude Opus 5.5 49 分,Claude Fable 5.1 46 分。

分数之外是差距:五款模型平均约 30 分钟完成一项桌面任务,人类基线平均 20 秒,按官方口径慢约 100 倍;成本端,最便宜的 GPT-6.1 Sol 每任务 1.93 美元,最贵的 GPT-6 Astra 要 16.36 美元。Artificial Analysis 在公告里写明,这类模型今天「太慢、太贵,远不适于任何生产用途」。

榜单背后:GPT 系跑在 Codex,Claude 系跑在 Claude Code

给出精确到小数点的均分:GPT-6 Astra 69.4,GPT-6.1 Sol 64.6,Gemini 4 Argon 55.3,Claude Opus 5.5 48.8,Claude Fable 5.1 46.3,与公告中的整数口径一致。跑分环境也写明了:GPT 系模型运行在 Codex 里,Claude 系运行在 Claude Code 里,Gemini 4 Argon 运行在 Antigravity 里,全部以 high effort 设置运行。

八项成绩拆开看,梯度立刻具体。五款模型都满分完成了「按下红色按钮」和「把鳄鱼玩具放进矩形」;把四块积木收进盒子再盖好盖子,则五款模型都只拿到 40 分。分差集中在后面几项:「倒饮料」上,榜单第二名的 GPT-6.1 Sol 得了 0 分,GPT-6 Astra 满分;「搭最高的塔」里 Astra 拿 71 分,GPT-6.1 Sol 与 Claude Fable 5.1 得 0 分;「测量盒子」一项无人通过,只有 GPT-6.1 Sol 和 Claude Opus 5.5 各拿 17 分。

八项桌面任务:从按下按钮到量出 2 毫米以内的纸盒

任务取材日常动作,按官网的分类考察三种能力:控制与灵巧(precise grasping,精确抓取与搬移物体)、空间推理(物体之间如何相互作用)、适应性(面对意外时的反应)。八项任务的通过标准各有硬指标:按钮要被按到闪灯;倒出的饮料要全部进杯、不洒不碎;「写 hello world」要求马克笔字迹清晰可读且落在黑框内;「搭最高的塔」要求塔能独立立住,且达到可达到的最大高度;「测量盒子」要求长、宽、高每一项都量到误差 2 毫米以内。

评分规则同样朴素:模型提交尝试后,最终状态按任务的通过标准判定,通过得 100 分,未完成按进度给部分分,所有尝试均为零样本。

一台 Hiwonder NexArm、四个摄像头、一个 HTTP API

官方对机制的很简短。模型在隔离容器里运行,拿到的信息只有三条:怎么通过一个简单 HTTP API 连上机械臂、这台臂是哪台——一台 Hiwonder NexArm,没有更多规格——以及怎么把一次尝试标记为完成。场景通过四个摄像头呈现:三个架在桌子四周,一个装在腕部;模型在容器里写代码、跑代码,规划动作并发送指令。

这套装置背后的判断,AA 在官网文章里写得很直接:2026 年年初以来,前沿语言模型控制机械臂的能力进步巨大,他们由此认为机器人学的未来大概率会包含强通用 agent,因此即便前沿语言模型还不适合独立承担生产级机器人应用,跟踪它们在机器人任务上的进展也会很重要。

差距细账:21 分钟才出手,70% 花在输入

时间账分布并不均匀。五款模型里四款平均每任务 30 分钟上下,Gemini 4 Argon 拖到 52 分钟。极值更悬殊:GPT-6 Astra 只用 2.2 分钟就按下了红色按钮;Claude Fable 5.1 光是理解场景和规划就花了约 10 分钟才做出第一个动作;「放鳄鱼」任务上,GPT-6.1 Sol 5 分钟宣告完成,Claude Opus 5.5 用了 45 分钟,相差 9 倍;出手最慢的也是 Gemini 4 Argon,平均先花 21 分钟观察和推理,接近其他模型的两倍。

成本账里,大头在输入:机械臂和场景对模型都是新的,要处理四个摄像头喂进来的大量视觉信息,70% 的开销落在上下文上。模型之间差得更远——GPT-6 Astra 的成本是 GPT-6.1 Sol 的 8 倍多,换来的分数只多 4 分。人类一侧,AA 按美国私营非农雇员平均时薪 37.81 美元(劳工统计局 2026 年 9 月初步数据)折算:20 秒一项任务约合 0.21 美元,最划算的 GPT-6.1 Sol 成本约为人类的 10 倍,GPT-6 Astra 按同一口径折算约为 78 倍。官方推文把结论概括为「最好的前沿模型比人类慢约 100 倍、贵约 10 倍」,而官网细账注明,「约贵 10 倍」对应的口径是最划算的模型,并非最贵的 GPT-6 Astra。

通过之后仍在修补:模型还难以判断「任务已经完成」

官网文章记录了一个反复出现的模式:模型把大量时间花在校准机械臂和理解场景上,直到做出第一个动作;此后大部分时间用于规划,真正的臂部动作反而短促而精确,看摄像头和记笔记只占小头。更麻烦的是收尾——模型常常在已经达到通过状态之后继续修补。GPT-6.1 Sol 在约 17 分钟时搭出了达标的高塔,随后把任务做砸。

AA 把判断留在了文章里:模型将如何学会在物理空间中推理「任务已经完成」,仍有待观察。同一份公告对差距的走向另有一句判断——「我们预计这会很快改变」。

参考链接