AREX Feed Article
斯坦福教授 Chelsea Finn 推介 Flash ALOHA:人手直接带动机器人采数据,自报 50 条演示、超 80% 成功率
北京时间 11 月 13 日凌晨(UTC 时间 11 月 12 日 16 时 16 分),斯坦福大学计算机科学与电气工程助理教授、Physical Intelligence 联合创始人 Chelsea Finn 在 ,推介一套名为 Flash ALOHA 的机器人演示数据采集系统,并附上项目页链接。她在帖子里把卖点写成三句话:「机器人能接近人类速度的操控吗?遥操作产出偏慢的数据,而 UMI 的追踪在速度提高后会退化。Flash ALOHA 让人直接引导机器人,得到快且追踪准确的数据。」
链接指向的与给出的都是作者自报的成绩:每个任务只采集 50 条人类演示,机器人即可自主完成双臂抛接球、叠短裤、装电池、收餐桌等任务,成功率超过 80%,速度接近人类——其中双臂抛接球从抛到接不到两秒。论文 PDF、代码仓库与硬件搭建文档均已公开。这些性能数字尚未见独立复现。
遥操作慢半拍,手持追踪高速下失准
论文给「机器人比人慢」找了两个采集端的根源。主从臂遥操作(leader-follower puppeteering,人操纵一对「领导臂」,从动机臂跟随)有延迟、缺触觉反馈,操作者只能放慢动作,采出的是迟缓轨迹,策略模仿的也是慢。手持设备采集更直观——论文引用的 UMI(Universal Manipulation Interface)是这类方案的代表——但依赖视觉-惯性定位,高速下姿态估计失效。
后半句有实测支撑:作者把一台 iPhone 15 Pro(运行 iPhUMI 应用,以约 60 Hz 记录 ARKit 视觉-惯性姿态)装到机械臂腕上,对四条人手引导的轨迹及其 0.25~1 倍速回放逐一录像比对,共 48 段录像、1,269 个一秒窗口,末端速度最高 1.2 米/秒。一段快速自由空间运动中,追踪漂移超过 10 厘米;在每个测过的速度档上,手持追踪误差都大于机械臂自身的控制误差;1 倍速录像平均要试 3~4 次才能避开 SLAM(同步定位与建图)失效。项目页把这段测试做成了可视化对比,可以用时间轴逐帧对照真值轨迹与追踪估计。
剪刀手柄加重力补偿:操作者直接推动机械臂
Flash ALOHA 的思路是把采集接口装回机器人身上。动觉教学(kinesthetic teaching)指人直接握住机器人完成动作,平台由两台 6 自由度轻量机械臂组成——HESSIAN 与 ARX 两种型号,均用行星减速器,关节内阻比谐波方案低,便于人手反向驱动(backdrivable)。末端装上打印的剪刀式手柄:拇指一个小柄、四指一个长柄,绑带固定手位;力矩控制以 100 Hz 实时做重力补偿,人推起来如同扶着一台失重机器,直接完成演示。位置读数来自电机编码器,剧烈运动下依然精确,从根上绕开了姿态估计问题。
平台用三路相机——两路腕部、一路俯视——以 50 Hz 记录 360×640 图像与关节状态;高动态的抛接球单独交给 HESSIAN 机械臂,抛球臂按 100 Hz、接球臂按 200 Hz 记录。采集间隙,操作者可以把刚录的轨迹直接在臂上回放一遍,当场暴露漏采动作或跟踪问题。
先把操作者的手遮掉,再把动作块接缝抹平
高速数据本身带来两个新问题。其一是视觉分布不一致:采集时画面里有操作者的手,部署时没有。论文的处理不是用生成模型把人手修掉,而是直接遮罩——用运动学正解与相机标定算出双手在每帧画面中的位置,把对应区域像素置零,部署时逐帧实时执行。消融实验中,遮罩几乎全面优于不遮罩与扩散模型修补,电池插入这类任务正是靠它才成立;论文认为修补的失败来自桌面倒影等残留伪影。
其二是动作分块在高速下的接缝会放大成抖动。策略沿用 ALOHA 同款的 ACT 模仿学习算法,预测未来一串关节位置;作者在相邻动作块重叠的少量步内用 sigmoid(S 形函数)权重混合过渡,称为测试时平滑。消融显示,这种平滑在全部任务上的成功率不低于对比方法;换用 ACT 论文自带的时间集成平滑,成功率下降,电池插入整套动作要 10.18 秒,接近他们方法的两倍。
论文的成绩单:五项任务都在 7 秒内完成
论文报告五项主任务的自主执行时间:拆叠杯 3.97 秒、电池插入 5.70 秒、收餐桌 6.81 秒、叠短裤 5.91 秒、抛接球 1.85 秒,成功率均超过 80%,执行时间比遥操作系统缩短超过一半。项目页列出十项自主技能,除上述任务外还有装洗碗机、递黄油、帮忙穿外套、接毛巾、翻煎饼。几项任务对双臂配合的力度有具体要求:拆叠杯时左爪夹得太紧、右爪就抽不动顶杯,右爪过紧又会把整摞杯子拽走;装电池要先斜插避开弹簧,再由另一只爪下压卡入。
对照基线是带主从臂的 ALOHA 2:同样每任务 50 条演示,但在三个可比任务上,遥操作数据每条长 12~20 秒,动觉教学只要 4~7 秒。人为给遥操作数据提速(控制频率加倍或隔帧执行)后成功率急剧下滑,控制频率加倍还会让动作块边界的指令跳变达到原来的 3~3.5 倍;论文称抛接球任务无法靠遥操作完成——隔着设备接不住空中的动态物体。用户研究部分,七名几乎没有遥操作经验的志愿者各花 3 分钟熟悉器材、看一遍专家演示,随后计时做十次电池插入:在动觉平台上,操作速度最多达到遥操作的 3 倍。
从 ICRA 的 ALOHA Lightning 到 Flash ALOHA
项目页称,这套系统曾以 ALOHA Lightning 之名于 2026 年 7 月在维也纳举行的 ICRA 上首次展示; 已收录同题论文。此次以 Flash ALOHA 之名发布完整项目页与代码。论文署名 John Hua Yao、Qi Wu、Yihuai Gao、Chelsea Finn 与 Zipeng Fu,页头标注斯坦福大学;致谢写明工作得到 Robotics and AI Institute 支持。
ALOHA 本身是 Finn 参与的双臂遥操作平台系列:2023 年的 ALOHA 与 2024 年的 Mobile ALOHA 都靠主从臂采数据,Flash ALOHA 的对照基线正是带主从臂的 ALOHA 2。论文称动觉教学免去了「为遥操作再配一套主从设备的成本与复杂度」。代码仓库 11 月 12 日在 创建,与帖子同日;项目页 arXiv 一栏仍标着「即将上线」。
遮罩偏保守、缺触觉:作者自陈的局限
作者在结论中列出了自己的局限:遮罩策略过于保守,可能抹掉手部附近有用的视觉线索;系统只用视觉与本体感知两种模态,学不了依赖触觉的接触密集操作;自适应遮罩与触觉传感是他们写下的下一步。
项目页把视频分开标注:自主运行(rollout)视频、「加速遥操作」对照演示(常速、双倍速、跳帧)与手持设备追踪误差测试各占一栏。能立即公开核验的是代码、硬件文档与论文本身;80% 的成功率能否在外部实验室复现,还没有答案。