HALO
Unitree G1 向けの Apple のヒューマノイド自律スタック。合成した家庭データだけで学習
ライセンス
Apple のサンプルコードライセンス(寛容、特許の許諾なし)
Apple 独自のサンプルコード用ライセンスで、OSI が承認したライセンスではありません。誰でもコードを使用、改変、再配布でき、ソースでもバイナリでも、改変の有無も問いません。改変していないコピーには Apple の告知を残す必要があります。特許権は一切許諾されず、Apple の名称と商標を派生物の宣伝に使うことはできません。HALO がダウンロードするモデル(Qwen、Kimodo、Kimodo が使う Llama 3 のモデル)と Unitree G1 のロボット記述ファイルはそれぞれのライセンスに従い、Llama 3 のモデルは Hugging Face でアクセス申請が必要です。
概要
HALO(Perceptive Humanoid Motion from Simulation)は、Apple の機械学習研究グループによるヒューマノイドロボットの自律システムで、2026 年 11 月に論文とともに公開されました。カメラ画像と音声での指示から Unitree G1 を動かし、椅子やソファに座る、人や名前を指定した物の所へ歩く、半開きのドアを横向きに通り抜ける、テーブルの下にしゃがむ・這って通る、箱を押す、といった動作をこなします。カメラに基づくこれらのスキルは、手続き的に生成した 1,000 軒の住宅でレンダリングした合成データから学習したもので、論文ではロボットが一度も見たことのない 6 つの実環境で 360 回試行し、成功率 91% と報告しています。リポジトリにはデータパイプライン、2 つの学習モデルの学習コード、MuJoCo と実機へのデプロイが含まれます。学習済みの重みとデータセットは含まれません。
HALO はロボット上で 3 つの層として動きます。オーケストレーターは既製の視覚言語モデルで、オペレーターの指示とカメラ画像を約 2 秒ごとにサブタスクへ変換します。動作生成器は RGB 画像と現在のサブタスクから、5 秒分の全身動作(36 個の値を持つ 150 フレーム)を毎秒約 3 回計画します。凍結した Qwen3.5-2B の視覚エンコーダーと、フローマッチングで学習した拡散トランスフォーマーのデコーダーを組み合わせ、各計画の最初の 0.5 秒だけを実行に回します。トラッカーは深度カメラとロボット自身の関節・IMU の値を使って 50 Hz でその計画に追従し、G1 の 29 関節への目標値を出力します。Apple のロボットでは、生成器とオーケストレーターが背中の筐体に載せた Mac mini で、トラッカーが G1 内蔵の Jetson Orin NX で動きます。
中心となる仕事はデータパイプラインにあります。NVIDIA の Kimodo がテキスト指示、経由点、最終姿勢から G1 の動作を生成し、33 項目の幾何チェックで複数の候補から最良のものを残します。Infinigen が住宅を作り、各動作は何にもぶつからない位置に配置され、Isaac Lab が頭部の魚眼カメラから見える映像をレンダリングします。その際、モーションブラー、低照度、色かぶりなど 8 種類の視覚的なドメインランダマイゼーションを加えます。
トラッカーは Isaac Lab で 3 段階に分けて学習します。シミュレーターの全状態を見る PPO のエキスパート、搭載センサーだけを見る 1 つの生徒への蒸留、そしてエキスパートごとに 1 つのクリティックを持つ PPO での微調整です。ONNX に書き出し、MuJoCo での sim-to-sim テストには Python で、ロボット上では TensorRT を使ったリアルタイム C++ でデプロイします。システムの起動スクリプトは、ループ全体を MuJoCo または G1 上で動かします。Apple のプロジェクトページにはデモ動画、実環境での試行のギャラリー、3D で再生できる記録済みの実行があり、手法は論文にあります。
重要な理由
ヒューマノイドのスキルデータの多くは、遠隔操作やモーションキャプチャで人が集めており、1 時間分のデータにおよそ 1 時間の人手がかかります。HALO は別の道を示します。コーパスをすべてシミュレーションで生成し、人手ではなく計算資源に応じて増やし、G1 をゼロショットで実際の住宅の中へ動かします。また、単一のポリシーではなく、通して読めるパイプライン全体です。データ生成、生成器の学習、トラッカーの学習、実機へのデプロイが 1 つのリポジトリにまとまっているため、G1 を持つ研究室はどの段階も調べたり作り直したりできます。ASAP、Holosoma、GEAR-SONIC といったオープンなヒューマノイド制御プロジェクトは、主に動作の追従や実行の学習に焦点を当てています。HALO はトラッカーに、初めて見る部屋でどんな動作をするかを決めるカメラ駆動の層を組み合わせています。
解決する課題
普通の家庭で働くヒューマノイドは、ピクセルと音声での指示を関節への指令に変換しなければなりません。この対応を学ぶには、視覚・言語・動作を組にしたデータが必要ですが、そうしたデータは大規模には存在しません。遠隔操作で集めるのは遅く、費用もかかります。HALO はそうした組のデータを手続き的に作った住宅の中で合成し、それを使ってプランナーとトラッカーを学習します。どちらも微調整なしで実際の部屋に移行できます。
主なポイント
- 搭載された 3 層:VLM のオーケストレーター、約 3 Hz の動作生成器、50 Hz の深度ベースのトラッカー
- カメラに基づくスキルは、手続き的に生成した 1,000 軒の住宅の合成データで学習し、学習に実際の住宅は使っていない
- 論文によると、学習で見ていない 6 つの実環境での 360 回の試行で成功率 91%
- データパイプライン、両モデルの学習、MuJoCo と Unitree G1 実機へのデプロイを含む
- 学習済みの重みとデータセットはない:データの生成と両モデルの学習は自分で行う
対象
- Unitree G1 を持ち、知覚に基づく移動や全身スキルに取り組む研究室
- 合成データと、シミュレーションから実ロボットへのゼロショット転移を研究する研究者
- ヒューマノイドの動作トラッカーを作っていて、Isaac Lab での検証済みの 3 ステップの学習レシピを求めるチーム
- Jetson 上の TensorRT によるヒューマノイドのリアルタイムデプロイの実例を探すエンジニア
制限事項
- 生成器とトラッカーの学習済みの重みもデータセットも公開されていないため、両モデルを学習するまで何も動かない
- 論文の規模はほとんどの人には手が届かない:コーパスは 250 基の H100 GPU で生成し、生成器は 64 基の B200 GPU で学習した
- データパイプラインが学習データを作るのは「椅子に座る」タスクだけで、他のタスクにはリポジトリにないデータが必要
- マルチタスクのオーケストレーターは MLX で動くため、メモリ 32 GB 以上の Apple シリコン搭載 Mac が必要
- 対象は 1 機種のみ:29 関節の Unitree G1 で、Apple 自身の機体をシステム同定したモデルを使う
- 標準的なオープンソースライセンスではなく Apple 独自の寛容なライセンスで公開され、特許権の許諾はない