Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

HALO

Apple 為 Unitree G1 打造的人形機器人自主堆疊,僅以合成住家資料訓練

授權條款

Apple 範例程式碼授權(寬鬆授權,不授予專利權)

Apple 自己的範例程式碼授權,並非經 OSI 核准的授權。它允許任何人以原始碼或二進位形式使用、修改與再散布程式碼,無論是否經過修改;未修改的副本必須保留 Apple 的聲明。它不授予任何專利權,且不得使用 Apple 的名稱與標誌推廣衍生作品。HALO 下載的模型(Qwen、Kimodo 以及 Kimodo 使用的 Llama 3 模型)與 Unitree G1 機器人描述各自保有其授權,而 Llama 3 模型在 Hugging Face 上需申請存取。

概述

HALO(Perceptive Humanoid Motion from Simulation)是 Apple 機器學習研究團隊推出的人形機器人自主系統,於 2026 年 11 月隨論文一同發布。它根據攝影機影像與口語請求驅動 Unitree G1:坐上椅子與沙發、走向人與指定的物件、側身穿過半開的門、蹲下並爬到桌子底下,以及推箱子。其由攝影機驅動的技能是從 1,000 間程序化生成的住家所算圖的合成資料中學到的,論文回報在機器人從未見過的六個真實環境中進行 360 次試驗,成功率為 91%。儲存庫包含資料流程、兩個學習模型的訓練程式碼,以及在 MuJoCo 與真實機器人上的部署。它不附任何訓練好的權重,也不附資料集。

HALO 在機器人上以三層執行。協調器是一個現成的視覺語言模型(VLM),大約每兩秒將操作者的請求與攝影機影像轉換為子任務。動作生成器根據 RGB 影像與目前的子任務,大約每秒三次規劃五秒的全身動作,共 150 幀、每幀 36 個值;它將凍結的 Qwen3.5-2B 視覺編碼器與以流匹配訓練的擴散 Transformer 解碼器搭配使用,且每次規劃只採用最前面的半秒。追蹤器以 50 Hz 使用深度攝影機以及機器人自身的關節與 IMU 讀數跟隨該規劃,並輸出 G1 29 個關節的目標值。在 Apple 的機器人上,生成器與協調器在裝於背部外殼內的 Mac mini 上執行,追蹤器則在 G1 自身的 Jetson Orin NX 上執行。

資料流程是工作的重心。NVIDIA 的 Kimodo 根據文字提示、路徑點與結束姿態生成 G1 動作,並以 33 項幾何檢查從數個候選中保留最佳者。Infinigen 建構住家,每段動作都被放在不會碰撞任何東西的位置,Isaac Lab 則算圖出魚眼頭部攝影機會看到的畫面,並加入八種視覺領域隨機化,例如動態模糊、低光源與色調偏移。

追蹤器在 Isaac Lab 中分三個階段訓練:先訓練能看到完整模擬器狀態的 PPO 專家,再蒸餾成只看得到機上感測器的單一學生模型,最後以每個專家各配一個評論器的方式進行 PPO 微調。它匯出為 ONNX,以 Python 部署於 MuJoCo 的模擬到模擬測試,並在機器人上以 TensorRT 的即時 C++ 部署。系統啟動器可在 MuJoCo 或 G1 上執行整個循環。Apple 的專案頁面提供展示影片、真實試驗的圖庫,以及可在 3D 中重播的錄製執行,方法則見論文。

為何重要

大多數人形機器人技能資料是由人透過遠端操作或動作擷取收集的,大約每一小時的資料就要花一小時的人力時間。HALO 展示了一條不同的路線:完全在模擬中生成的語料,隨運算量而非人力成長,並以零樣本的方式帶著 G1 穿梭於真實住家。它也是一條完整、易讀的流程,而不只是單一策略。資料生成、生成器訓練、追蹤器訓練與真實機器人部署都在同一個儲存庫中,因此擁有 G1 的實驗室可以研究或重建每個階段。ASAP、Holosoma 與 GEAR-SONIC 等開放人形機器人控制專案主要著重於學習追蹤或執行動作。HALO 則將追蹤器與由攝影機驅動的那一層搭配,由後者決定在從未見過的房間中要做什麼動作。

解決的問題

要在一般住家中運作,人形機器人必須把像素與口語請求轉換為關節指令,而學習這種對應需要成對的視覺、語言與動作資料,這種資料並不存在大規模的版本。以遠端操作收集既慢又昂貴。HALO 在程序化建構的住家中以合成方式生成這些成對資料,再以此訓練規劃器與追蹤器,兩者無需微調即可轉移到真實房間。

重點

  • 三個機上層級:VLM 協調器、約 3 Hz 的動作生成器,以及 50 Hz、以深度為基礎的追蹤器
  • 其由攝影機驅動的技能以 1,000 間程序化生成住家的合成資料訓練,訓練中不含任何真實住家
  • 據論文所述,在訓練中未見過的六個真實環境進行 360 次試驗,成功率 91%
  • 包含資料流程、兩個模型的訓練,以及 Unitree G1 在 MuJoCo 與真實機器人上的部署
  • 不附訓練好的權重或資料集:你需要自行生成資料並訓練兩個模型

適用對象

  • 擁有 Unitree G1、研究感知式行走運動與全身技能的實驗室
  • 研究合成資料以及從模擬到真實機器人之零樣本轉移的研究人員
  • 打造人形機器人動作追蹤器,並希望取得在 Isaac Lab 中經過測試之三階段訓練方法的團隊
  • 尋找在 Jetson 上以 TensorRT 即時部署人形機器人實例的工程師

限制

  • 未公開訓練好的生成器或追蹤器權重,也沒有資料集,因此在你訓練兩個模型之前什麼都無法執行
  • 論文的規模超出大多數人的能力:語料在 250 顆 H100 GPU 上生成,生成器在 64 顆 B200 GPU 上訓練
  • 資料流程只為坐上椅子的任務產生訓練資料;其他任務所需的資料不在儲存庫中
  • 多任務協調器在 MLX 上執行,需要記憶體至少 32 GB 的 Apple silicon Mac
  • 只為一款機器人打造,即具 29 個關節的 Unitree G1,並使用 Apple 自己那台機器經系統識別的模型
  • 以 Apple 自己的寬鬆授權發布,而非標準的開源授權,且不授予專利權

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。