AREX Feed Article
Hugging Face 宣布成为 RoboColosseum 创始合作伙伴：100+ 台真机、140+ 个真实场景，rollout 含失败全部开放在 Hub
北京时间 11 月 4 日 23 时 38 分，宣布成为机器人真机评测项目 RoboColosseum 的创始合作伙伴（founding partner），配文一句定位：「在真实世界评估机器人模型很难，但可以解决。」帖文给出三个数字：100+ 台真实机器人、140+ 个 in-the-wild（真实开放环境）场景，以及每一次 rollout——模型在真机上的一次完整执行——连同失败案例一起开放在 Hugging Face Hub 上。
这份公告背后已经有一份配套论文。RoboColosseum 团队于 11 月 2 日把论文提交至 arXiv（，预印本）：首轮研究从 9 月 17 日跑到 10 月 28 日，用分布多国的真机网络，对 5 个视觉-语言-动作（vision-language-action，VLA）策略和 3 个前沿 AI 智能体做了成对盲评与统一微调评测。结果相当冷静：六个操作类别里没有一个系统的成功率超过 13%，G1 人形机器人的五个任务没有一个策略完成过。
一张分布在五个国家的真机评测网络
按论文的描述，RoboColosseum 是一个分布式评测框架：把统一的策略服务（policy serving）接口和标准化评测协议，接到分布各地、本地运营的机器人上。论文称这支机队「超过 100 台」，分布在美国、英国、新加坡、马来西亚和中国，由最多 30 名全职机器人操作员运行；所有评测都在真实场所进行——办公室、图书馆、公园、宿舍、住宅、美食广场和工厂车间。
首批四种机器人形体（embodiment）跨度很大：低成本单臂 SO-101、DROID 配置的 Franka 研究级机械臂、双臂 Bimanual-YAM，以及会走路的 Unitree G1 人形机器人；还列出第五种——户外轮式机器人 Earth Rover Mini+，标注为「加入中」。策略推理可以在机器人旁边一台 RTX 5090 笔记本上跑，也可以走远程服务器端点；评测录像会经过专门的人脸模糊与身份匿名化流水线处理。
论文把这件事放进评测方法的脉络：此前的 RoboArena 把评测分散到 7 个学术机构、用成对盲评汇总排名，但 612 次对比全部集中在 DROID/Franka 一种形体上；仿真可以大规模跑分，但感知、标定和动力学差异让仿真成绩难以预测真机表现。RoboColosseum 想做的，是把成对真机评测扩展到多种形体、多个国家、持续运行的规模。
两条赛道：盲评对战与同一份 100 条演示的微调
Open Track 测零样本泛化：评测员用现场随手可得的物品当场出题，系统指派两个匿名模型在同一台机器人上背靠背执行同一条指令，评测员只看 A/B 两段录像选出更好的一次或判平，全程不知道模型名字。排名用难度校准 Rasch 模型（DCR）拟合——同时估计模型能力与任务难度，人工给出的 1～10 难度评分作为先验——再以 Elo 制刻度公布。为了省下昂贵的真机试跑，配对采样沿用 Chatbot Arena 的主动匹配策略，优先把试跑分配给最能降低排名不确定性的模型对。
Fine-tune Track 测适应能力：每个形体 5 个任务、共 20 个任务，所有策略拿到完全相同的 100 条遥操作演示——YAM 用 GELLO、SO-101 用主从臂、Franka 用 DROID Quest、G1 用 Pico VR 头显加全身控制器采集——各自按官方配方微调后，在每对「模型×任务」上跑 25 次。指标除了成功率（SR），还有归一化进度分（PS）：任务没做完，但把瓶子扶正了、抽屉拉开了，都按满足的标准条数计分；可能损坏机器人或场景的执行会被安全中止并计零分。
首轮 41 天：智能体追平专用模型，任务完成率仍然很低
8 个系统参加了这轮评测：5 个 VLA 策略（GR00T N1.7、π0.5、MolmoAct2、G0.5、LingBot-VLA v2）加 3 个 API 形式的前沿智能体（GPT-6 Astra、Claude Opus 5.5、Grok 4.7）。Open Track 完成 5,699 次成对对比，覆盖 124 个站点——124 是首轮实际跑对比的站点数，「140+ 场景」则是项目方对场景总数的口径，两者不是同一个数。
结果分两层。相对排名上，前沿智能体不输专用 VLA：901 组智能体对 VLA 的正面对比中，智能体进度更高 394 次、VLA 265 次、持平 242 次，平均多走出 5.3 个百分点；分模型看，差距分化明显，Claude Opus 5.5 和 GPT-6 Astra 分别领先 12.1 和 11.0 个百分点，Grok 4.7 则落后 7.5 个百分点。论文首版 Open Track 排行榜上，GPT-6 Astra 以 1,778 的 DCR 评分居首，Claude Opus 5.5 以 1,769 紧随其后。绝对能力是另一回事：五个 VLA 策略里类别相对分最高的 MolmoAct2，六类任务中的成功率也只有 6%～13%；按人工难度分档，任务成功率从难度 1～4 档的 30.7% 跌到 9～10 档的 0.4%，平均归一化进度从 56.6% 掉到 3.5%。G1 人形机器人的五个微调任务同样无一完成，平均进度只在 13.3%～23.2% 之间。
微调赛道分出两组领先者：GR00T N1.7 在 SO-101 上领先，π0.5 在 Franka 和 Bimanual-YAM 上领先——后者在双臂 YAM 的五个任务里四个拿到 96%～100% 成功率。但论文同时给出两个提醒：跨形体的排名一致性很弱（Kendall's W = 0.24），在一个形体上排前面的模型换个形体可能重排；Open Track 的零样本排名也几乎不能预测微调后的表现，三个共享形体上出现大量排名反转。这套方法本身也更省试跑：主动匹配在 400～500 次评测后就能与全量排名达到约 90% 的一致性，均匀采样要约 1,000 次。
打开 Hub：LeRobot 格式数据与 10,000 小时免费评测
「我们的承诺：每一次评测 rollout 都在 Hugging Face 上公开——包括失败。」把这句话写进组织简介。官网 FAQ 补充了细节：两种评测的每一次运行，连同多相机视频，都以 LeRobot 格式发布在 Hub，分数公布在公开排行榜上。目前组织页挂出 20 个微调数据集，每集约 100 条演示（多数配 3 个相机，SO-101 为 2 个）；官网首页统计还给出约 2,000 条演示、11 小时演示数据和 51 个评测集。G1 的数据集名字本身就够具体：g1-carry-box（搬箱）、g1-fold-towel（叠毛巾）、g1-hang-keys（挂钥匙）、g1-load-clothes-washing-machine（往洗衣机里放衣服）、g1-plate-into-rack（盘子入架）。
进度分与公开的失败数据是配套设计：任务失败时，不同策略分别把任务推进到了哪一步、差距从何而来，rollout 记录里都有。团队另承诺向学术实验室和合作伙伴提供 10,000 小时免费评测，官网用表单接受申请，由 RoboColosseum 团队逐一审核。
背后的团队，和「创始合作伙伴」没说清的部分
论文 27 位作者来自新加坡国立大学、华盛顿大学、斯坦福大学、北卡罗来纳大学教堂山分校、Allen Institute for AI、牛津大学、Hugging Face、BitRobot 和新加坡具身智能中心，通讯作者是新加坡国立大学的 Jiafei Duan——他的 X 个人简介自述为 RoboColosseum 创始成员，并在 Hugging Face 帖文下：「一切都会通过 @huggingface 开放，这只是开始。」机器人论文节目 RoboPapers 在 Hugging Face 官宣前约一个半小时（北京时间 4 日 22 时 13 分）称，其三位共同主持人（@micoolcho、@DJiafei、@ruijie_sg）正与 Hugging Face 合作推出这个基准，rollout 数据将开源；参与方 BitRobot 也在中称「一起启动并开源 rollout 数据」。RoboColosseum 自己的 X 账号 10 月 8 日才注册，写道：「物理 AI 的试炼场已经上线。看看今天的模型在真实世界里能做到什么。」
截至 11 月 5 日发稿，Hugging Face 那条帖文约 11,900 次浏览、95 个点赞。帖文本身没有解释「创始合作伙伴」包含什么——算力、资金、Hub 运营还是别的投入，均未披露；回复串里有用户追问失败案例是否按失败原因标注、外部团队能否提交自己的模型参测，可见范围内没有看到 Hugging Face 回应。100+ 机器人、140+ 场景这些数字，目前全部出自项目方与 Hugging Face 自己的材料。眼下可以直接核验的是数据本身：Hub 上的数据集（例如 ）已经可以下载，排行榜挂在 。