AREXOpen in interactive Feed

AREX Feed Article

Sakana AI 与东京大学发布 SAIL 机器人轨迹框架:候选轨迹从 1 条扩到 45 条,报告仿真成功率从 25% 升至 73%

September 28, 2026

9 月 28 日,Sakana AI 在中发布与东京大学合作的机器人轨迹生成框架 SAIL(Scaling In-Context Imitation Learning),并称这项工作将呈现于 IROS 2026(IEEE/RSJ 国际智能机器人与系统会议)。公告描述的机制是:一个策略视觉语言模型(policy VLM)参照少量成功示范生成机器人轨迹;轨迹先在仿真器中试跑,由评估 VLM 观看执行视频、找出进展停滞的位置,再用蒙特卡洛树搜索(Monte Carlo tree search,MCTS)迭代修订——只有最终选中的那条轨迹,才会下发给物理机器人执行。

公告公布的核心结果是:在仿真中的六项操作任务上,把搜索预算从 1 个候选扩大到 45 个,平均找到成功轨迹的比例从 25% 升至 73%;团队同时称,SAIL 也在物理机器人上完成了评估。论文《SAIL: Test-Time Scaling for In-Context Imitation Learning with VLM》已发布在 ,2026 年 3 月 9 日提交第一版,9 月 19 日更新修订版,署名作者为 Makoto Sato、Yusuke Iwasawa、Yujin Tang 和 So Kuroki。

SAIL 的仿真与真机环境:左侧三帧为仿真中「抓住蓝色方块—移向红碗—放下」的过程,右侧为仿真环境与真实机械臂的对照。(图源:Sakana AI 博客)

单次生成的轨迹经不起小误差

公告把出发点写成一个具体问题:机器人要上手一个新任务,缺什么?常规做法是收集演示、训练一个策略;而基础模型已经从海量图像、文本、代码和机器人相关数据里学过东西,团队想验证的是,在不更新模型权重的前提下,这些既有知识能为机器人控制所用多少。公告称,近期的演示提示 GPT-6 Astra 在通用语言与视觉能力之外还能操作物理机器人;另援引 Di Palo 与 Johns 2024 年的工作指出,此前已能把视觉观测分词,配合少量示范,让语言模型以上下文学习的方式生成整段运动轨迹。

麻烦在可靠性。博客解释:单次预测取决于提供的上下文——示范长什么样、与当前场景像不像——还带有采样随机性;即便动作意图正确,生成的运动目标里一个小误差也足以让整个任务失败。直接执行这条轨迹,意味着机器人在动起来之前,没有任何发现和纠正错误的机会。SAIL 的做法是 test-time scaling(测试时扩展):不改权重,靠在推理阶段生成、评估、修订候选轨迹来换精度。

三个组件撑起一棵搜索树

论文摘要对结构的表述很直接:SAIL 的搜索树上,每个节点是一条完整轨迹,每条边是一次对轨迹的修订;搜索由三个组件引导。

博客给出的方法图:左侧为供 MCTS 检索与扩展的轨迹档案,右上为评估 VLM 按子任务逐帧打分,右下为对齐到轨迹步骤的反馈。(图源:Sakana AI 博客)

第一是档案检索。系统维护一个存放成功轨迹的档案,从外观与当前场景相似的记录中取出示范,连同当前物体布局、机器人状态一起交给生成 VLM,产出一条完整轨迹;搜索中新找到的成功轨迹会写回档案,供后续任务使用。

第二是 VLM 打分。候选轨迹在仿真器里执行并录成视频,评估 VLM 按预设的子任务清单逐段估计完成度——图中示例是「移向把手—抓住把手—拉动把手」——各帧估计汇总成整条轨迹的分数。博客说明,这种按时间给任务进度打分的方式建立在 ROVER(Schroeder 等,2025)的基础上。统计口径上,引导搜索的是 VLM 的完成度估计,而最终判定的成功与否由仿真器的真值成功检查单独给出,两者分开。

第三是逐步反馈。各帧的完成度分数被对齐到轨迹上选定的路标点,连同带标注的父轨迹一起回传给生成 VLM,提示它保留进展顺利的段、修订停滞的段;修订出的轨迹作为子节点再次进入仿真评估,如此往复。博客称,全部实验中由 Gemini Robotics-ER 1.5 同时担任策略与评估 VLM,全程未更新权重。

六项任务的逐项成绩与基线对比

六项任务的结果表:广度优先搜索与深度优先搜索在 15 个节点下平均 51% 和 37%,SAIL 随节点数从 6 加到 45,平均成功率从 55% 升至 73%。(图源:Sakana AI 博客)

博客给出了各档预算的完整数字:六项操作任务在 ALOHA 仿真器中评估,每项任务 20 个初始配置,任务分别对应 Banana、Pen、Bowl、Drawer、Laptop、Marker。只生成一条轨迹(1 个节点)时,平均成功率 25%,其中 Marker 仅 5%,Drawer 仅 10%。换上 SAIL 后,曲线随预算一路抬升:6 个节点平均 55%,15 个 65%,30 个 71%,45 个 73%。到 45 个节点时,Bowl 是 100%(6 个节点时已到此水平),Banana 95%,Pen 和 Laptop 分别为 80% 和 70%,起点最低的 Marker 也从 5% 升到 45%。

表中还列了两种基线搜索,同样拿了 15 个节点的预算:广度优先搜索平均 51%,深度优先搜索 37%,SAIL 在同预算下是 65%。公告把这组结果的含义归为一句:机器人轨迹生成可以从 test-time scaling 中获益,额外的计算让模型有机会在仿真里测试并修正自己提出的动作。

真机验证:一项任务,六次试验成功五次

物理实验目前只覆盖一项任务。博客描述:用一支 LeRobot SO-101 机械臂做「把方块放进碗里」,系统根据彩色与深度观测重建场景,在仿真中搜出成功轨迹后交给真机执行。物体位置随机、预算 15 个候选,六次试验成功五次;团队把剩下那次失败归因于位姿估计误差,以及仿真与真实环境接触动力学的差异。

博客还提到一个副产品:把搜索找到的成功轨迹用作模仿策略的训练数据。这条路线同样六次成功五次,且按博客报告,其执行时间比运行 MCTS 搜索更短。

发布方自己划出的边界

论文与博客列出了三条限制:轨迹开环执行,运动途中没有视觉反馈;在仿真里搜索和修订需要额外的计算;真机评估只有一项任务、每种方法六次试验,还需要更大范围的验证。

公告结尾也停在未完成处:团队认为,现有模型配合这类反馈还能做到什么、这些改进又能多大程度迁移到物理机器人上,仍有待研究。按公告,这项工作将呈现于 IROS 2026;在那之前,可公开核对的证据就是发布方贴出的仿真结果表,和真机上那几段试验记录。

参考链接