AREX Feed Article
Apple 研究团队开源 HALO：Unitree G1 背负 Mac mini 全离线自主行动，360 次真实测试成功率 91%
Apple 研究团队于 11 月 4 日在 arXiv 上线论文（arXiv:2611.06908），提出人形机器人自主系统 HALO（Humanoid Autonomy, Learned in simulation, running Onboard，仿真中学习、机载运行的人形自主系统）：一台 Unitree G1 人形机器人背负一台 M4 Pro Mac mini（64 GB 统一内存），感知与运动全部机载完成，无遥操作（teleoperation）、无云端连接。论文报告，机器人在 6 个训练时从未见过、也未经扫描建图的真实环境中完成 360 次试验，平均成功率 91%。代码已在 GitHub 开源，论文 8 位作者的机构署名全部为 Apple。
11 月 9 日， 与 先后刊出对这套系统的详细解读。Yahoo Tech 的报道补充了三层架构中各层使用的模型与运行频率，并给出链式任务平均成功率约 70%、其中「下蹲→走向箱子→推箱」序列仅 50% 的数字。
HALO 在真实庭院与客厅中的自主行为，四格画面为同一机器人在不同指令下的动作序列。图片来源：Apple HALO 项目页
背在机器人身上的那台 Mac mini
据，这台 Unitree G1 只做了两处硬件改装：头部一个定制支架，装着一台 OAK-1W 相机，以 120° 视场角输出 1280×800、30 fps 的 RGB 画面；背部一个封闭舱，装着那台 Mac mini。机器人出厂自带的 Jetson Orin NX 也没有拆掉，低层控制跑在它上面。两台机器通过 ZeroMQ 组成一条完全无线（untethered）的异步级联：OAK-1W 把画面流给 Mac mini，由编排器和运动生成器算出全身参考轨迹；Jetson 上的跟踪器再把这条轨迹落成关节指令。深度信息来自一台朝下倾斜 55° 的 Intel RealSense D435i，研究团队绕开了其原生深度输出自带的噪声，把原始双目红外图像直接送进 Jetson 上一个 TensorRT 加速的立体匹配模型，以 30 Hz 估计深度。
Yahoo Tech 解释了为什么一台桌面级 Mac mini 能承担这个角色：统一内存架构让 CPU 和 GPU 共享同一块 64 GB 内存池，大模型的加载与运行不需要在 CPU 与 GPU 各自的内存池之间来回搬运，减轻了通常限制消费级硬件本地推理的一个约束。家庭机器人不能指望每一次移动决策都有持续的云端连接——据 Yahoo Tech 转述论文，HALO 在所有真实试验中完全离线运行。
每两秒重排计划，每秒三次重算动作
三层架构的最上层是语言编排器：一个约每 2 秒被调用一次的视觉-语言模型，把自由形式的指令拆解成一串子任务，每个子任务指明一项技能和作用对象，随后闭环驱动整个序列——持续观察环境，判断当前动作是否成功，成功就推进，失败就重试。它默认在 Mac mini 上以 Qwen3.6-35B-A3B 运行（4-bit 量化，经 MLX 本地推理，Yahoo Tech 称其为混合专家（MoE）模型），与运动生成器共享一个推理引擎。论文也提到，编排器可选调用云端前沿模型换取更强的推理与规划。
中间的运动生成器以 3 Hz 运行：一个冻结参数的 Qwen3.5-2B 视觉-语言模型做编码器，把机器人第一人称视角（egocentric）的 RGB 画面与当前子任务编码成特征；一个从零训练的扩散变换器（diffusion transformer，DiT）解码器以流匹配（flow matching）生成动作，每次输出未来 5 秒的全身运动计划——30 Hz 下的 150 帧，每帧 29 个关节角度加骨盆位姿。生成是异步的：跟踪器执行当前计划时，生成器已经在算下一个；已提交执行的前 0.5 秒帧作为干净、无噪声的前缀直接传入模型，两段计划因此能无缝拼接，机器人不会在推理间隙僵在原地。最底层的跟踪器以 50 Hz 运行，融合第一人称视角的深度信息与本体感觉，输出 29 个关节目标位置；它是一个跑在 PREEMPT_RT 实时内核上的 C++ 进程。
1,000 个不存在的房间，296 小时合成数据
论文开篇写道：「人形机器人会翻跟头、跳舞、奔跑，但还没有一台能被请进一间陌生的客厅，然后被要求坐下。它们敏捷，却是盲的——后空翻是提前编排好的动作，对着机器人从不需要感知的几何结构执行。」
HALO 的回应是让数据脱离人力。研究团队用 Infinigen 程序化生成房间——训练用 1,000 个，其中客厅 45%、办公室 30%、卧室 25%，单边长 3.5～9.5 米、20～80 件家具；再用 Kimodo 运动扩散模型按文本提示与关键帧约束合成全身动作，几何校验器随即丢弃滑步、穿地、腾空这些物理上不成立的候选，最后在 Isaac Sim 中渲染出机器人的第一人称画面并做视觉随机化。整个语料库共 162,698 个片段、296.3 小时（论文通篇取整称「约 300 小时」），在 250 块 H100 上花 48 小时合成完毕；生成器训练用了 64 块 B200，跟踪器用了 4 块 H100。整个训练语料库只有 10 条固定指令——「坐上扶手椅」「走向垃圾桶」之类——运行时由编排器把自由语言请求映射到这 10 条之一。
「原本要耗费数小时（乃至数天、数年）的人类时间的工作，现在可以自主、并行地推进，唯一的上限是算力。」论文这样描述这条管线。它不需要人遥操作、不需要动作捕捉服、也不扫描部署环境；不过蹲、爬等技能的关键帧取自真人手机视频，经三维姿态估计后重定向到 G1，推箱片段来自一段动作捕捉录像——人的运动先验仍在，只是人不再逐段演示。环境多样性的贡献在消融实验里很直接：只训 1 个房间时，仿真坐椅成功率 43%；100 个房间升到 81%；1,000 个房间 84%。
六项技能的单项分布与链条失败的原因
实测协议在论文第四节：6 项技能——Go-To（走向指定物品）、Sit（坐椅）、Door（侧身穿过半开的门）、Crouch（桌下深蹲）、Crawl（桌下爬行）、Push（推箱）——每项在每个环境做 10 次，覆盖 100 个留出的仿真房间和 6 个真实环境，合计 6,000 次仿真试验与 360 次真实试验；单任务成功的标准是不摔倒、不卡住地完成。真实环境单项成绩：走向指定物品 92%、坐椅 85%、过门 93%、深蹲 100%、爬行 90%、推箱 88%，均值 91%；仿真均值同为 91%。
链条加长后成功率下降得更明显。多任务评估只在 50 个仿真房间和 1 个真实环境里进行，每条序列 10 次：真实环境中「过门→走向物品」100%、「下蹲→坐下」60%、「下蹲→走向箱子→推箱」50%，均值 70%。论文指出，链条成功率低于单任务成功率的乘积（Door→Go-To 仿真为 71%，对乘积的 89%），说明子任务并不相互独立。对失败案例的细看给出了一个具体原因——上一段动作结束时的姿态让目标出了视野：真实世界「下蹲→走向箱子→推箱」的 5 次失败里有 3 次在结束下蹲时头朝向别处，机器人从头到尾没把箱子收进视野；另有两次「下蹲→坐下」试验因下蹲段的最终姿态，机器人试图坐上右边的沙发而不是椅子。
这些数字全部出自论文作者自己的评估。Yahoo Tech 提醒，91% 对应的是受控条件下、预先定义好的单任务，而不是开放式的家庭自主能力。
论文中的真实环境任务序列，每格右下角为时间戳。图片来源：arXiv 论文
Qwen 的工程选择与论文自列的边界
论文 11 月 4 日上线，代码随即出现在 GitHub 的 仓库，覆盖数据生成、模型训练与部署（截至 11 月 10 日检索，该仓库获 123 颗星、9 个 fork）；上挂着数十段真实环境演示视频，含一段户外爬行。机器人领域账号 11 月 5 日的长推——开头一句是「Apple 正在造人形机器人的大脑」——被 AppleInsider 整段转引。
Yahoo Tech 用专门一节处理 Qwen 的选用：编排器选这个与阿里相关的开源模型，理由是工程上的——团队需要一个能在现有硬件上本地、离线运行的够用模型。该报道同时说明，论文没有描述任何 Apple 与阿里的正式合作，也没有任何一手来源支持这种说法，把它读成产品战略信号超出了论文能支撑的范围。AppleInsider 的判断类似：论文没有写任何未来计划或目标，这类能力短期不会出现在 Apple 的产品里。
论文自己列出的边界同样具体：新增一项物理任务仍需要人来书写提示词（prompt）、编排动作关键帧，「技能库的增长速度，只会和人类写下新任务的速度一样快」；感知以视觉为主，物体一旦被遮挡或离开视野，系统得不到任何它还在原处的信号；编排层「相对简单」。针对链条失败，作者提出的下一步是加入搜索、原地转身之类的基础恢复行为。这些数字能否在第三方手里重现，代码已经公开，答案取决于复现者。