GPT-6.2 Astra 在 Blueprint-Bench 2 与 SO-101 实机榜排名第一,Ember-0 得分 41.2%
11 月 20 日至 21 日,OpenAI 之外的三家评测方先后公布了 GPT-6.2 Astra 的空间与机器人成绩:Andon Labs 的 Blueprint-Bench 2 给出 0.614 分、排名第一;XDOF 的 Ember-0 给出 41.2%,高于 9 月初 GPT-6 Astra 的 19.6%;RoboColosseum 的 SO-101 公开赛道 给出 1,984 分,按 Elo 尺度排名第一。Greg Brockman 先后转发了这三项结果,第一条的配文是 Astra「在物理三维理解基准上超过人类基线」(帖文)。
GPT-6.2 Astra 与 GPT-6.2 Sol 于 11 月 17 日发布,现已在 ChatGPT Work 与 Codex 面向 Plus、Pro、Enterprise 与 Edu 用户开放,并可通过 API 调用;发布材料把视觉推理与计算机操作列为 Astra 的提升,并称这些能力延伸到 3D 设计(OpenAI 博客)。
从公寓照片画平面图,人类基线只测了 12 套
Blueprint-Bench 2 的题目很具体:AI agent 依次处理 50 套公寓,每套看约 20 张室内照片,画出一张二维平面图,标出房间、连接关系和相对大小。评分比较平面图与真实户型的房间连通关系,Jaccard 相似度占 50%,其余看每间房的门数、整体连通密度、房间数、门数和朝向;分数归一化后,随机基线为 0,完美为 1。
榜单上,GPT-6.2 Astra 以 0.614 排第一;Gemini 4 Carbon 与人类基线同为 0.586;GPT-6.2 Sol 以 0.570 在参评模型中排第三;Claude Fable 5.2 为 0.566;上一代 GPT-6 Astra 为 0.497。Andon Labs 在 11 月 20 日的帖文里称 Astra「比任何其他 AI 更理解物理三维世界」(帖文)。
Brockman 转发这张榜时用了「超过人类基线」。单看分数,0.614 确实高于 0.586,差距 0.028。但 Andon Labs 的页面在图表下方写着,Astra 与 Gemini 4 Carbon「现在与它持平」;图中 Astra 的误差棒也与 0.59 的人类基线相交。脚注还说明,人类基线只在这 50 套公寓中的 12 套上测过。
这项基准的输出是二维平面图,评分以房间连通关系为主,并不直接检验三维几何重建。Brockman 用「physical 3D understanding」概括它,Andon Labs 自己的说法是测试「AI agent 如何理解空间」。
Ember-0 的 16 项任务里,接触密集项目是已知难点
Ember-0 是 XDOF 的双手操作基准:16 项任务,六台 YAM 双臂站,每台两条六自由度机械臂,配腕部与顶部摄像头;单次尝试最长 30 分钟,模型每一步拿到站点描述、当前画面和此前 12 步的记录,还能维护一份 2,000 字符的备忘录(XDOF 报告)。任务包括展开 T 恤、用夹子夹面包、把马克杯挂到杯架上、把球滚进碗里等。
XDOF 随后公布 GPT-6.2 Astra 在该基准上得 41.2%,并给出对照:9 月初 GPT-6 Astra 是 19.6%。XDOF 称这是「HUGE jump」,并预计 Ember-0 很快饱和。Brockman 转发了这条结果,写道「GPT-6.2 Astra is great at robotics」(帖文)。
Ember-0 的总体分数是 16 项任务的平均成功率,每项任务跑 30 次(榜单)。41.2% 意味着平均仍有约 58.8% 的尝试没有成功。XDOF 在 10 月的报告里总结过这类模型的强弱项:它们能从画面里选出合理目标、做出计划,但在精确接触、工具使用和形变物体上失手;143 次有效的 T 恤试验无一成功,动作块之间的等待时间为 12.5~24 秒。
Ember-0 的 16 项任务里仍包括展开 T 恤、用夹子夹面包这类接触密集项目,这些项目在 10 月的报告里正是失败集中的部分。
RoboColosseum 用盲测给 SO-101 排名,但只覆盖一台机器人
RoboColosseum 做的是分布式真机评测。Open Track 里,两个不署名的模型在同一场景、同一句新指令下先后运行,由现场评测者挑选更好的一次或判平;模型不做任务微调,评分根据全部比较拟合,并给出不确定性(官网、论文)。榜单把这个指标称为 DCR(Difficulty-Calibrated Rasch,难度校准 Rasch)评分,按 Elo 尺度显示;论文特别说明,它不是逐场更新的 Elo 分。榜上的前沿模型通过策略接口直接控制机械臂,没有为 SO-101 做任务微调,也拿不到示范数据。
11 月 21 日,RoboColosseum 公布 GPT-6.2 Astra 以 1,984 登上 SO-101 公开赛道第一,依据是 122 组配对比较。同一张榜单上,Claude Fable 5.2 为 1,803,Claude Opus 5.5 为 1,666,专用 VLA(视觉-语言-动作)策略 pi0.5 为 1,525,上一代 GPT-6 Astra 为 1,393。榜单标注评分计算于 11 月 20 日。
RoboColosseum 论文作者 Jiafei Duan 说,团队在一天内跑了数百组对比,Astra 升到第一(帖文)。Brockman 随后转发这段演示,只写了「GPT-6.2 for robotics:」(帖文)。
122 组比较放在 RoboColosseum 的规模里看,只是榜单上新增的一组样本:论文首轮研究覆盖 124 个站点、5,699 组 Open Track 配对比较。论文也提醒,这条赛道的排名对评测站点很敏感:把评测站点随机分成两半后,SO-101 的模型配对排序一致率只有 59%,低于 Franka 与 Bimanual-YAM 的约 85%。论文的结论是,前沿 agent 已能与专用 VLA 政策匹敌,但「所有系统都难以可靠完成开放世界任务」;在微调赛道中,不同机器人平台之间的排名一致性也很弱(Kendall W = 0.24)。
三项成绩之后:三套测试各自覆盖了什么
三项结果都来自 OpenAI 之外的评测方,但三项衡量的不是同一种能力:Blueprint-Bench 2 测从照片推断房间连通关系,Ember-0 测双手操作的平均成功率,RoboColosseum 测真机任务的成败并按配对比较拟合评分。放在一起,它们支持一个有限的判断:Astra 在这三项评测上比上一代强。
Brockman 的三条帖文都只有一行文字,方法论细节留在被引用的评测方页面里。他把 Blueprint-Bench 2 概括为「超过人类基线」,把两项机器人结果分别称为「great at robotics」和「GPT-6.2 for robotics」。
三项结果各自只覆盖一个基准:Blueprint-Bench 2 的 50 套公寓、Ember-0 的 16 项任务、RoboColosseum 的 SO-101 单台。三项加在一起,仍然回答不了同一模型在另一台机器人、另一批公寓或另一组任务上的表现。
参考链接
- Greg Brockman:GPT-6.2 Astra 在物理三维理解基准上超过人类基线
- OpenAI:Introducing GPT-6.2 Astra and Sol
- Andon Labs:Blueprint-Bench 2
- Andon Labs:GPT-6.2 Astra 在 Blueprint-Bench 2 排名第一
- XDOF:GPT-6.2 Astra 在 Ember-0 得分 41.2%
- Greg Brockman:GPT-6.2 Astra is great at robotics
- XDOF:Ember-0 基准报告
- XDOF:Ember-0 机器人排行榜
- RoboColosseum:GPT-6.2 Astra 登上 SO-101 公开赛道第一
- RoboColosseum 官网
- RoboColosseum:Evaluating Physical Intelligence at Scale In-The-Wild
- Jiafei Duan:Astra 在 RoboColosseum 的 SO-101 排名升至第一
- Greg Brockman:GPT-6.2 for robotics