AREX Feed Article
英伟达在 CoRL 2026 发布 GR00T 2 世界动作模型：自报零演示可完成 50 项任务中的 40 项
北京时间 11 月 9 日 22 时（奥斯汀当地时间 9 日上午），英伟达在（主会议 11 月 9～11 日，12 日为工作坊日）上，推出其称之为「开放前沿」（open frontier）的世界动作模型（world action model）GR00T 2。这款基于 NVIDIA Cosmos 构建的模型，自报成绩是：50 项评测任务里，不给任何任务特定演示也至少完成过其中 40 项；每任务只给 1 条演示，平均成功率 71%，给到 5 条则达到 95%；官方并称，无需机器人特定演示即可把技能迁移到不同的机器人本体。
同一份公告还发布了搭载开源物理引擎 Newton 的 ，官方称在基于视觉的灵巧操作基准上，其训练吞吐量较 Isaac Lab 2.3 搭配 PhysX 最高提升 2.5 倍；GR00T 2 代码定于 12 月开放。以上数字均为英伟达自报口径，随附注明，评测任务是从模型能够学得好的任务中挑选出来的。
自报成绩的细节：失败多出在执行精度，5 条演示后 37 项任务全对
解释了模型的工作方式：单个 diffusion transformer（扩散变换器）同时对未来视频与机器人动作去噪，模型先「想象」物理交互将如何展开，再由针对每种本体的小型执行头把计划转成电机指令；模型可以驱动平行夹爪、灵巧手和人形机器人。
这次测试在一台装有两只 Sharpa 灵巧手的双臂机器人上进行。研究页写明，这 50 项任务从未出现在目标机器人自己的数据里，只存在于其他机器人的数据或人类视频中。零样本直接执行，试次级成功率 40%；英伟达把多数失败归因于执行精度而非任务理解——步骤与顺序都对，某一步差了准头。每任务加 1 条演示、做 30 分钟 LoRA（low-rank adaptation，低秩适配）微调（单张 RTX 5090 即可），平均成功率升至 71%；5 条演示——每任务合计不到 3 分钟机器人数据——推到 95%，其中 37 项任务在全部试次中无一失败。
研究页还报告了灵巧操作与真机强化的结果：经少量后训练，模型能用两只 22 自由度 Sharpa 手安装 GB300 内存模组（成功率 85%）、拼装玩具卡车（65%）；仅凭任务级成败信号在真机上做强化学习，把三项接触密集的插接任务从监督后训练后的 40%～76% 提到 88%～96%。针对端侧部署，研究页给出 2B 参数的 GR00T 2 Turbo：它跑在 Unitree G1 人形机器人自带的 Jetson Thor 上，单次预测 124 ms，经 SONIC 全身控制器驱动 G1 舀取并分发爆米花 48 次全部成功，清理桌面任务成功率 93%。
预训练数据：40 万余小时人类视频，加 UMI 演示与遥操作
GR00T 2 的预训练数据由三部分混合：402,730 小时人类工作的第一人称（egocentric）视频、10,184 小时手持 UMI 夹爪演示（覆盖 2,897 项任务）、23,500 小时机器人遥操作。遥操作数据覆盖平行夹爪机械臂（YAM、Franka）、灵巧手（Sharpa、Wuji）和 Unitree G1 人形机器人；人类视频来自 Human-1M 数据集，其中 100,000 小时以 Human-1M-100K 的名义在 Hugging Face 开放。
跨本体迁移在研究页中被称为 X-Adapt（跨本体适配），共有三种验证。化学实验任务只由戴手套、佩戴头戴与腕部相机的人类演示，机器人没有任何遥操作演示，四项任务全部成功；传送带分拣投掷、玩具卡车拼装与 NIST 装配板拆解只由手持 UMI 夹爪演示，YAM 机械臂仅提供与任务无关的遥操作数据；可穿戴外骨骼 DexUMI 的演示则教会 Tianji 机器人加两只 XHAND1 灵巧手做香蕉酸奶、舀格兰诺拉和划火柴点灯三组双手任务。
配套的数据工具也在同场发布：Video to Data 工作流把人类视频转成仿真机器人演示，并配套挑战赛征集改进；开源模型 EgoHand 重建 3D 手部动作，上线两周在 Hugging Face 下载超过 40,000 次，训练数据来自 Noitom Robotics。
Agent 编排技能：292/300 次玩具装配与错误恢复
研究页把分工写得很直白：agent（智能体）决定「做什么」——拆解长任务、检查进度、写代码；GR00T 2 决定「怎么做」——执行难以脚本化的接触密集操作。agent 通过 WAM（world action model）API 把 GR00T 2 当作工具调用，旁边配有相机、机器人状态和代码即策略（code-as-policy，CaP）技能；一旦零件掉落或进度停滞，agent 先用 CaP 技能修复场景，再把控制权交回。三件玩具从全部打乱的起始布局开始装配，玩具飞机、玩具拖拉机与风火轮小车分别成功 98、97、97 次（各 100 次，合计 292/300）；同一个后训练策略不带 agent，成绩只有 71～84 次，仅监督后训练则只有 23～69 次。
视觉引导（visual steering）补的是指令的含糊处：agent 在 GR00T 2 的相机画面上标出抓取点与释放点后，YAM 对「拿什么、放哪里」类指令的跟随成功率从 40% 提到 92%；长时程垃圾分类能完整跑完 17/20 次，不标点时一次也完不成。公告称，AI agent 可调用 GR00T 2 的 API 编排技能序列并从错误中恢复。
合作方 MicroAGI 给出了工厂侧的用法：经强化学习后训练的 GR00T 2 驱动 YAM 机械臂做以太网线插拔，其代理式工作流用 Isaac Lab 3.0 与 Newton 自动创建并校准仿真环境，策略就在这些环境里训练。加州大学伯克利分校机器人学教授、VABAR 与 GaP 项目负责人 Ken Goldberg 在公告中说：「对我来说，代理式机器人学（agentic robotics）是自 1995 年互联网以来最令人兴奋的技术发展。」
Isaac Lab 3.0 换装 Newton：可建模缆线布料，并行训练数千台仿真机器人
Isaac Lab 是英伟达的开源机器人学习框架。3.0 版允许研究者用 agent 快速搭起带仿真就绪（sim-ready）资产的训练环境、在 PhysX 与 Newton 求解器之间切换、为感知训练挑选渲染器，并对 GR00T 这类基础模型套用新的强化后训练库。公告解释，与 Newton 更紧的集成让 Isaac Lab 能建模缆线、布料等形变体，以及多关节灵巧手这类复杂铰接系统；两者结合可并行训练数千台仿真机器人。
合作方在扩展 Newton 的能力：Skild AI 在会上发布基于 Newton 的刚体求解器 STEEL（Scalable Throughput-optimized Engine for Embodied Learning），用于加速 Isaac Lab 训练；构建于 Isaac Lab 的 AlphaNIST 用单个策略学会 NIST 装配任务板全部 20 项毫米级零件操作，只靠是/否成功信号，训练成功率超过 98%（逐任务单独策略为 81%），GPU 时间约为后者的 1/39。
英伟达称四项基准进前三，Foxconn 拿它造服务器
英伟达称 GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 与 MolmoSpaces 四个基准的全部视觉-语言-动作（VLA）与世界动作模型类别中位列前三，并多次登顶榜单。配套的规模化评测也在推进：用于大规模策略评测的开源框架 Isaac Lab-Arena 迎来 0.4 版开发者预览；RLWRLD 与英伟达合作的 DexBench 把灵巧评测从桌面挪进零售、物流、制造与酒店四个场景的 15 项任务；加州大学伯克利分校与英伟达的 VABAR 则覆盖 6 项带标准化变化的工业任务。
落地名单里有三家公司：Foxconn 正把 GR00T 2 用于服务器制造的工厂自动化，Siemens 在评估多项工业用例，Nexuni 在测试机器人洗衣处理。伯克利的 Graph-as-Policy（GaP）框架用 agent 把单项技能连成工程师可审查的机器人程序，Ambi Robotics、Bosch Research 与 Siemens 都在探索这套工作流。
成绩单出自英伟达自家材料，独立验证要等代码开放
这批成绩目前只能对照英伟达自己的一套材料核验：博客、研究页和题为《GR00T 2: Scaling Robot Foundation Models for Generalization, Dexterity, and Adaptation》的白皮书，尚无独立第三方验证。白皮书的「任务挑选」说明，落到研究页上有更具体的定义：这 50 项任务只出现在其他机器人的数据或人类视频中，从未出现在目标机器人自己的数据里——模型在别的形态或人类视频里见过这些技能，考卷并非完全陌生。
本届 CoRL 从数千篇投稿中选出的六篇最佳论文入围候选里，英伟达占两席： 做仿真就绪场景的 3D 资产生成管线， 把视觉运动上下文扩展三个数量级而不增加推理延迟。GR00T 2 的代码要到 12 月才开放；71% 和 95% 能不能在英伟达之外的实验室复现，那时才有答案。