AREX Feed Article
Ai2 开源 ToyBlocks：基于 IsaacSim/IsaacLab 的模拟桌面环境，用于机器人学习受控实验
2026 年 11 月 6 日，Ai2（Allen Institute for AI）在官方 X 账号发布 ——一个用于机器人学习受控实验的开放模拟桌面环境，帖子附演示视频和 GitHub 链接。同日，代码仓库 以 Apache-2.0 许可证上线：项目基于 NVIDIA 的 IsaacSim/IsaacLab 模拟框架搭建，主体是一台机械臂在桌面上推、翻、叠积木。Ai2 在推文中称，研究者可以借此实验性地控制训练数据与模型、运行针对性评测，并把失败追溯到原因。
同日刊出，把 ToyBlocks 定位为 Ai2「FoundationWorlds」系列的第一个环境。仓库说明列出它的几项核心能力：无需耗时费钱的遥操作，即可自动、可扩展地生成 LeRobot 格式演示数据，直接用于训练 VLA（vision-language-action，视觉-语言-动作模型）或其他策略；任务目标以 PDDL（Planning Domain Definition Language，规划领域定义语言）表达，GPU 并行闭环评测自动度量成功与部分进展，无需逐任务编写评分代码；层级策略的任一层可替换为 oracle——提供正确计划或动作的参考组件——以定位失败出自高层规划还是低层执行。首批发布包含 85,336 条长程演示（每条约含 6～12 个技能演示，合计近 1,600 小时、1.44 亿帧）、两个训练好的模型，以及训练与评测代码。
一个「故意简单」的桌面，和它要回答的问题
Ai2 在博客里先交代了动机：机器人确实在学着叠衣服、分拣零件，但支撑这些能力的演示数据往往范围狭窄，既说明不了模型学到了什么，也说明不了它为什么失败。博客把思路类比成培养皿和饲养箱——研究复杂系统时，科学家先退到一个能控制变量的小环境里，改变条件、观察结果；机器人学习正缺这样一种环境。同日的给出更直白的类比：小孩子靠玩积木学会规划和空间推理，塔倒了重搭，看不到字母就把它翻过来；ToyBlocks 用的是同一个场景，只是玩家换成了必须在推、翻、叠之间推理积木如何相互作用的模拟机械臂。
按博客的定义，每个 FoundationWorld 由一个针对特定场景的受控模拟世界，加上自动生成任务与演示的工具、度量机器人行为的指标组成。ToyBlocks 按四条要求设计：物理与外观逼真；任务与演示可大规模自动生成；挑战同时考验推理与灵巧操作；覆盖该场景下尽可能多的任务。博客承认，开放域环境无法同时满足这四条，正是积木桌面的窄范围让它成为可能；该项目接续 Ai2 此前的 MolmoAct 2、MolmoBot、MolmoSpaces 等开放机器人学习工作。Ai2 同时称，模拟中的机械臂和积木与真实设备的行为非常接近。
这个桌面也不止「把方块叠起来」。积木面上印着字母和图案，任务因此扩展到寻找、分拣和排列：机器人可能得先把一块积木翻过来、看到隐藏的面，再决定它属于哪里。域随机化会在场景之间改变积木尺寸、桌面高度，乃至光照、背景、材质和相机参数，用来检验模型在几何与外观变化下的泛化。
不靠遥操作：单块 GPU 上 24 倍实时生成演示数据
机器人学习的演示数据通常靠人操纵遥操作设备逐段录制，又慢又贵。ToyBlocks 把生成过程拆成两层。底层技能由强化学习（RL）和运动规划在 Isaac Lab 里训练，覆盖推、翻这类不需要抓取的动作；技能生成可以直接使用模拟器才提供的特权信息——比如积木的精确位置和朝向——而不必从相机图像估计。博客称，这正是那些在现实中必须遥操作才能录到的技能得以自动生成的原因。
上层由任务与运动规划器（TAMP）接管：为每个任务自动挑选并排序所需技能，规划技能之间的运动路径；每份计划在模拟里执行一遍，就得到一条带任务与技能标注的演示。数百份计划在单块 GPU 上并行生成、执行，速度最高达到实时的 24 倍。README 的快速上手示例给出了一个最小用例：一块 GPU 上生成并执行 2 个三块叠放问题、8 个并行环境，最后合并成一个 LeRobot 数据集；执行阶段不录相机图像，视频由渲染阶段补齐，同一条执行记录可以按不同随机化配置渲染多份——普通外观一份、随机外观三份——合并后一条执行产出 4 条演示。数据配方也能按实验需要调配：README 举例，团队可以多生成推或翻的演示，再到刻意留在训练之外的任务上评估效果。
数据格式和训练设施也已接通。数据集以 LeRobot 格式记录，官方 上每条样本都带有 pddl_goal 目标、成功标记和高、低层动作标签。ToyBlocks 附带 的训练设施；ManiFlow 是一个已有的视觉运动操作策略（CoRL 2025 论文，署名机构包括华盛顿大学、UC San Diego、NVIDIA 与 Ai2），按 README 的描述，它以语言指令和目标热图（heatmap）为条件输出低层动作，既可以单独运行，也可以置于 Molmo 2、Astra、Claude 这类高层策略之下，由后者决定下一步做什么。
任务目标写成 PDDL：评测自动打分，失败可换 oracle 归因
README 说明，评测在 GPU 上并行闭环运行，可以在新生成的未见场景与任务上进行，也可以从数据集记录的精确初始状态重放；由于每条任务的目标都写成一组 PDDL 谓词，成功与部分进展由系统自动度量，不需要为任何任务单独写评分代码。博客补充，评测输出的不止成功率，还包括执行速度、施加在物体上的力，以及用与规划模块同一套规格度量的任务进展。
失败归因由 oracle 机制承担。博客解释，框架可以在高层和低层各建一个 oracle；把层级策略的任一层换成 oracle，就能分辨一次失败究竟出在规划还是执行。策略失败时的状态还可以回送进数据生成流程，用来规划新的专家演示和从中恢复的动作。博客把这套闭环的目的概括得很直接：通过完全控制数据生成过程，让研究者能把训练后策略的行为结果追溯回训练数据本身。
首批自测：VLA 泛化不佳，100 条模型生成轨迹把未见区成功率从 19% 提到 78%
博客用几组实验演示这套环境的用法；以下数字均为 Ai2 自报的自测结果。
第一组针对低层动作模型的泛化。VLA 的前提是大规模预训练带来快速泛化，但已有研究结论相互矛盾；Ai2 认为，原因之一是真实世界数据集在空间变化上不够灵活。在 ToyBlocks 里，ManiFlow、π0.5 和 MolmoAct 2 三个模型要在 Stack、Unstack、Flip、Rotate 四个任务上接受插值与外推测试——例如训练数据只来自左半区、到右半区测试，或只训练 2 层和 5 层叠放、测试 3 层和 4 层，再如训练时完全不给四块叠放、看模型能否拼装熟悉的动作完成它。博客图表说明的结论是：尽管经过大规模预训练，这些主流动作模型在初始结果中泛化都很差；Ai2 称已用若干技术改善泛化并逐项分析了贡献，同时表示「动作模型泛化仍远未解决」。
另一组把动作条件世界模型当成模拟器的替代品来测。世界模型学习预测场景如何随机器人动作变化，用它训练和评测策略是活跃的研究方向，但预测得准不准，只有在知道场景真实状态时才能度量——ToyBlocks 恰好提供这份真值。每种技能（pick-and-place、flip、rotate 和一个混合任务）各生成 900 条轨迹，成功与失败各占一半，失败源于空间配置的微小差异；被测模型要在只拿到初始图像和动作序列的条件下，预测后续图像、模拟器状态或隐状态。结果是：50 亿参数的视频预测模型 Wan 2.2 对积木运动和任务结果的预测最准；智能体模型 Astra（博客称它自建了一个与演示数据匹配的物理模拟器）跟得上夹爪，却难以模拟接触；潜在世界模型 LeWM 在短交互段上更快也更准，但整条轨迹会漂移。博客还报告，往训练集里加入 100 条最佳视频生成模型产出的轨迹，策略在未见区域的成功率从 19% 提高到 78%。
从 Claude 搭积木到真机零样本：30 次试验成了 15 次
高层推理的测试分两类。视觉-语言模型一类里，Molmo 2 当高层规划器、ManiFlow 当低层执行器：Molmo 2 选择要执行的技能和目标积木，ManiFlow 执行完一步就暂停、回查下一条指令。测试任务是拼出「Ai2」这样的三字母积木塔，难度分三档——字符初始朝上并面向相机、可能不朝上、以及开局不可见；框架在此提供高低两层 oracle，用来区分规划错误与执行错误。
智能体一类里，Ai2 用 Claude Opus 5.5 研究前沿模型如何通过工具调用做规划与行动，共三种设置。经典规划设置中，智能体用文本描述解出 30 个叠放任务中的全部 30 个——博客称这批任务与前几年前沿模型表现挣扎的一批任务类似——只反复观察相机图像、闭环选择下一步动作时，同样是 30 比 30。搜索拼词设置中，ToyBlocks 技能通过 MCP（Model Context Protocol，模型上下文协议）暴露为工具，智能体看相机图像、靠指向像素调用 pick、flip、rotate 等技能，自行决定何时搜索、搭建或宣布任务完成、不可行；它要在最多 8 块积木中找出字母、拼出三字母单词，一半场景缺少所需字母、要求主动宣布不可行，结果是 63% 的任务被正确解决或正确宣布不可行，主要错误是认错形近字母（13%）和摆错字母朝向（15%）。第三种设置让智能体像科学家一样对待自己的技能：行为出乎意料时提出假设、设计小实验、按结果修正理解并改写技能描述——默认描述下成功率 24%，人类专家写的描述 36%，智能体自写的 63%。博客还记录了一个演示回合：Claude Fable 5.1 搭建拼出「Ai2」的积木塔，先假设「也许夹爪的偏航是放射状的——从基座指向积木」，验证后动手，塔搭成了，「A」却摆成了侧躺；Ai2 写道，尽管规划、空间推理和搜索能力出色，当前前沿模型仍经常犯类似的感知错误。ToyBlocks 还带一个网页界面，可以连上 Claude 或其他前沿模型、用自然语言指挥机械臂，博客称这让没有机器人技术背景的人也能试探模型如何规划和行动。
真机部分回答另一个问题：只靠仿真数据训练的策略，能否零样本直接上真机。实验用 Franka FR3 机械臂配 Robotiq 夹爪，30 种场景配置，每景 4～10 块训练时见过的积木；相关积木被无碰撞地移到目标位姿才算成功，操作员因不安全动作干预即判失败。结果分两半：ManiFlow 各原子技能（pick、place、flip、rotate）的单独成功率在仿真与真机上几乎持平，80.0% 对 81.1%；Molmo 2 加 ManiFlow 的层级系统完成三块拼词长程任务，仿真 55.5%（111/200），真机 50.0%（15/30）——博客注明，真机用的是仿真评测里最简单的场景配置，且需要更多试验才能建立跨任务的统计置信度。迁移分三步：数据生成前做系统辨识，调整仿真机械臂的关节摩擦和 armature（电机与减速箱惯性折算到关节的参数）以拟合真机轨迹；生成中随机化物体尺寸、摩擦、桌面高度和光照、背景、材质、相机参数；推理时用正面 ZED 相机加腕部 ZED Mini 取像，深度图不取深度传感器原始读数，而由 RGB 图像经 FastFoundationStereo 生成。
发布了什么，还欠什么
代码、数据、模型、文档同步上线。列出四条工作流——安装配置、自动数据生成（任务、环境、执行、渲染、合并、标注六个阶段）、ManiFlow 训练、策略评测——外加智能体机器人一节。仓库整体按 Apache-2.0 发布，但 curobo、maniflow-tb、molmo2、agentic_robotics 四个子模块和下载资产沿用各自许可。博客列出的发布物还包括仿真资产、程序化任务与演示生成器、自动生成的演示数据集和评测用验证集。
两个展示模型随附完整训练配置。高层 是约 45 亿参数的视觉-语言模型，由 Molmo2-4B 微调而来，输入一张 640×360 前置相机图像加文本目标，输出计划、动作和指向坐标，约 6 Hz 运行；其模型卡的闭环评测每档恰 200 回合：Easy 档只测叠放，Hard 档要先搜索、把积木转正再叠。配运动规划器时，Easy 档里用训练见过的积木（seen）配置成功率达 97.5%，Hard 档换成留出积木（unseen）后只剩 14.5%；换成 ManiFlow 低层后，两档分别为 55.5% 和 10.0%。低层 是 3.225 亿参数的流匹配动作模型，8 卡训练 20 万步；模型卡还披露，仿真加批量推理并非逐位确定，同一回合在不同运行间会在成败之间翻转，两次运行仅对 128 回合中的 82～97 个判断一致——这组评测以最长专家演示的 3 倍（194 秒）为时限，因为默认 30 秒下多数回合会在完成前超时。
未决的部分同样写在明面上。技术报告标注「即将发布」，模型卡引用的条目也标注为草稿（Draft）；博客称目标在几周内放出第二批数据——更大规模、更多技能、更全面的基准——并补上当前包里还没有的完整集成 RL 训练；更远的方向包括双臂操作和带力、触觉传感器的灵巧手。至于外界反应，截至本文核查，仓库显示 9 个 star、1 个 fork，两个模型页的累计下载分别为 40 次和 43 次，核查范围内未见第三方采用的公开证据；博客结尾邀请社区把 ToyBlocks 用作自己的实验平台，甚至以此为基础构建各自的 FoundationWorlds——目前，这套环境展示过的所有能力和成绩，都还出自 Ai2 自己的实验。