Open Source Robotics

精选高质量开源机器人项目、工具和软件,推动机器人社区发展。

HALO

Apple 为宇树 G1 人形机器人打造的自主系统,只用合成的家居数据训练

许可证

Apple 示例代码许可证(宽松,不授予专利权)

这是 Apple 自己的示例代码许可证,并非 OSI 认可的许可证。它允许任何人以源代码或二进制形式使用、修改和再分发代码,无论是否修改;未经修改的副本必须保留 Apple 的声明。它不授予任何专利权,也不得用 Apple 的名称和商标为衍生作品做宣传。HALO 下载的模型(Qwen、Kimodo 以及 Kimodo 使用的 Llama 3 模型)和宇树 G1 的机器人描述文件各自保留原有许可证,Llama 3 模型在 Hugging Face 上需申请访问。

概述

HALO(Perceptive Humanoid Motion from Simulation)是 Apple 机器学习研究团队开发的人形机器人自主系统,于 2026 年 11 月随论文一同发布。它根据摄像头图像和一句口头指令驱动宇树 G1:坐到椅子和沙发上、走向人和指定的物体、侧身穿过半开的门、蹲下或爬过桌子底下,以及推箱子。这些依靠摄像头的技能全部从 1,000 套程序化生成的住宅中渲染的合成数据学来,论文报告在机器人从未见过的六个真实环境中进行了 360 次试验,成功率为 91%。代码库包含数据流水线、两个学习模型的训练代码,以及面向 MuJoCo 和实机的部署代码。其中不含训练好的权重,也不含数据集。

HALO 在机器人上分三层运行。编排器是一个现成的视觉语言模型,大约每两秒把操作员的指令和摄像头图像转成子任务。运动生成器每秒约三次,根据 RGB 图像和当前子任务规划五秒的全身运动,共 150 帧、每帧 36 个数值;它把冻结的 Qwen3.5-2B 视觉编码器与用流匹配训练的扩散 Transformer 解码器组合起来,每次规划只执行前半秒。跟踪器以 50 Hz 跟随该规划,使用深度相机以及机器人自身的关节和 IMU 读数,为 G1 的 29 个关节输出目标值。在 Apple 的机器人上,生成器和编排器运行在背部机箱里的一台 Mac mini 上,跟踪器运行在 G1 自带的 Jetson Orin NX 上。

真正的功夫在数据流水线上。NVIDIA 的 Kimodo 根据文本提示、路径点和终止姿态生成 G1 的动作,33 项几何检查从多个候选中保留最好的一个。Infinigen 生成住宅,每段动作被放在不会与任何物体碰撞的位置,Isaac Lab 渲染头部鱼眼相机会看到的画面,并加入八种视觉域随机化,例如运动模糊、弱光和色偏。

跟踪器在 Isaac Lab 中分三个阶段训练:先训练能看到完整仿真状态的 PPO 专家,再蒸馏成只看机载传感器的单一学生策略,最后用每个专家各配一个评价器的 PPO 进行微调。它导出为 ONNX,用 Python 部署到 MuJoCo 做仿真到仿真测试,并在机器人上用 TensorRT 以实时 C++ 运行。系统启动脚本可在 MuJoCo 或 G1 上运行完整闭环。Apple 的项目页面提供演示视频、真实试验集锦以及可在 3D 中回放的录制运行,方法见论文。

为何重要

大多数人形机器人技能数据都由人来采集,靠遥操作或动作捕捉,大约每一小时数据就要花一小时人力。HALO 展示了另一条路:语料完全在仿真中生成,随算力而非人力增长,并让 G1 零样本走进真实住宅。它也是一条完整、可读的流水线,而不只是一个策略。数据生成、生成器训练、跟踪器训练和实机部署都在同一个代码库里,拥有 G1 的实验室可以研究或重建每个环节。ASAP、Holosoma 和 GEAR-SONIC 等开源人形控制项目主要专注于学习跟踪或执行动作。HALO 则把跟踪器与依靠摄像头的那一层结合起来,由后者决定在从未见过的房间里该做什么动作。

解决的问题

要在普通住宅里工作,人形机器人必须把像素和口头指令转换成关节指令,而学习这种映射需要成对的视觉、语言和动作数据,这类数据并不存在大规模的来源。用遥操作采集既慢又贵。HALO 在程序化生成的住宅中合成这些成对数据,再用它训练规划器和跟踪器,无需微调即可迁移到真实房间。

要点

  • 机载三层:VLM 编排器、约 3 Hz 的运动生成器,以及 50 Hz 的基于深度的跟踪器
  • 依靠摄像头的技能用来自 1,000 套程序化生成住宅的合成数据训练,训练中没有真实住宅
  • 据论文报告,在训练中未见过的六个真实环境中进行 360 次试验,成功率 91%
  • 包含数据流水线、两个模型的训练,以及在 MuJoCo 和宇树 G1 实机上的部署
  • 不提供训练好的权重和数据集:需要自己生成数据并训练两个模型

适用人群

  • 拥有宇树 G1、研究感知型运动和全身技能的实验室
  • 研究合成数据以及从仿真零样本迁移到真实机器人的研究人员
  • 开发人形机器人动作跟踪器、想要一套在 Isaac Lab 中分三步、经过验证的训练方案的团队
  • 想看人形机器人在 Jetson 上用 TensorRT 实时部署完整示例的工程师

局限

  • 没有发布训练好的生成器或跟踪器权重,也没有数据集;两个模型训练完之前什么都跑不起来
  • 论文的规模大多数人无法企及:语料在 250 块 H100 GPU 上生成,生成器在 64 块 B200 GPU 上训练
  • 数据流水线只为“坐到椅子上”这一任务生成训练数据;其他任务需要代码库之外的数据
  • 多任务编排器运行在 MLX 上,需要配备 Apple 芯片且内存至少 32 GB 的 Mac
  • 只针对一款机器人:29 个关节的宇树 G1,并使用 Apple 自己那台机器人经系统辨识的模型
  • 采用 Apple 自己的宽松许可证发布,而非标准开源许可证,且不授予专利权

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。