Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

LeRobot 以 VLA 搭配全身控制器驅動 Unitree G1 人形機器人

  • 來源: Hugging Face LeRobot team
  • 作者: Open Source Robotics
  • 發布日期: 2026-09-25
  • 類別: business

LeRobot 團隊發布了適用於 Unitree G1 的完整人形機器人工作流程。π0.5 策略預測動作 token,再由 NVIDIA 的 SONIC 控制器將其轉換為保持平衡的全身動作,遠端操作設備、可列印硬體、資料集與權重全部公開。SONIC 路徑已在 LeRobot 的主分支上,但尚未納入正式版本。

LeRobot 現在能在全尺寸人形機器人上執行學習而來的策略。在 9 月 25 日的一篇文章中,Hugging Face 的 LeRobot 團隊在 Unitree G1 上展示了整條流程:全身遠端操作、資料集、經微調的視覺-語言-動作(VLA)模型,以及一個在模型決定要做什麼的同時,讓 29 關節雙足機器人保持直立的控制器。

這個設計解決的是機器手臂從未遇過的問題。VLA 的速度遠遠不足以單獨讓一台步行機器人保持平衡,因此 LeRobot 在兩者之間放了一個快速控制器。策略採用 OpenPI 的 π0.5,它預測的是精簡的 64 維動作 token,而非關節角度。NVIDIA SONIC(GR00T-WholeBodyControl 的一部分)的解碼器,會在機器人上以 50 Hz 將每個 token 加上近期的身體狀態轉換為關節目標值。這套配方依循 OpenHLM 論文,只做了一項改變:LeRobot 直接以潛在 token 訓練 VLA。SONIC 解碼器已於 8 月 17 日以純 Python 的 ONNX 重新實作形式合併進 LeRobot。

示範任務是把一個罐子搬到桌上。其資料集包含約 100 個回合,大約是 71 分鐘、使用三台攝影機的 VR 遠端操作。π0.5 在四張 H100 上以此資料集微調了 12,000 步,產出的策略已公開。機器人本身經過改裝:裝在列印手腕轉接件上的 OpenArm 夾爪、一台頭部攝影機,以及一個用來容納 CAN-FD 轉接器與線材的列印背包。可列印零件也一併公開。

文章也介紹了第二項實驗與更廣泛的軟體堆疊。團隊在 mjlab 中以 PPO 為 SONIC 訓練了一個 LoRA 轉接器,讓 G1 利用頭部攝影機的深度資訊閃避丟來的球。這項做法依循 ViBE。在模擬中,它閃避了 79.1% 的投擲,而遮蔽深度輸入時則為 0%。團隊明確表示這是模擬數據,而硬體影片只是示範,並非評估。G1 也可以透過 GR00T 全身控制或 Amazon FAR 的 Holosoma 驅動。它在 MuJoCo 中有模擬,也有手臂逆向運動學(IK),而團隊的 Homunculus 手套與外骨骼可直接從關節動作錄製遠端操作。這些裝置最初是為 HOPEJr 打造的。

有一件事必須說清楚。G1 支援已納入 LeRobot 正式版本好幾個月,但 SONIC 解碼器是在最新標記版本 v0.6.1 之後才合併的。要執行本文所述的工作流程,必須從原始碼安裝 LeRobot,而 G1 文件也是依主分支撰寫的。團隊表示,下一款將支援的人形機器人是 Menlo Research 的開源機器人 Asimov。

為何重要

人形機器人是機器人學習領域投入心力的焦點,而在此之前,開放工具大多止步於機器手臂。在雙足機器人上,困難的部分不在於模型,而在於模型思考時如何讓機器人保持直立。將工作分給緩慢的策略與快速的全身控制器,並公開整條流程的每個環節,讓任何擁有 G1 的人都有一個可重現的起點。這也代表任務層級的策略只需約一百次示範就能訓練,而不必從頭重新學習平衡。

重點

  • LeRobot 讓 π0.5 策略預測 SONIC 的 64 維動作 token,再由機器人上的快速解碼器以 50 Hz 將其轉換為 29 自由度的關節目標值,藉此在 Unitree G1 上執行
  • SONIC 解碼器是純 Python 的 ONNX 移植版,於 8 月 17 日合併進 LeRobot;它在主分支上,但不在最新正式版本 v0.6.1 中
  • 範例中的搬罐策略以約 100 個全身 VR 遠端操作回合(約 71 分鐘)訓練,資料集與權重皆已公開
  • 公開可列印的 G1 改裝件:OpenArm 夾爪手腕轉接件、頭部攝影機支架,以及容納 CAN-FD 轉接器的背包外殼
  • 在 mjlab 中訓練、以深度資訊閃避球的轉接器,在模擬中閃避了 79.1% 的投擲;作者表示它沒有經量測的硬體成功率
  • G1 也可以透過 GR00T 全身控制或 Holosoma 驅動,並具備 MuJoCo 模擬、手臂逆向運動學(IK)與完整的本體感知狀態
  • Menlo Research 的開源人形機器人 Asimov,被列為下一款將支援的機器人

開源觀點

文章所描述的一切都已公開:LeRobot 中採用 Apache-2.0 的 SONIC 解碼器與 G1 整合、遠端操作資料集、微調後的策略權重、可列印的硬體改裝件,以及 Homunculus 手套與外骨骼的設計。不開放的是機器人本身。Unitree G1 是商用人形機器人,因此這套工作流程是在封閉硬體上執行的開放軟體,而文章也指出下一款將支援的開放人形機器人是 Asimov。

相關技術

  • LeRobot
  • Unitree G1
  • OpenPI
  • SONIC
  • GR00T-WholeBodyControl
  • OpenHLM
  • Holosoma
  • mjlab
  • OpenArm
  • MuJoCo

相關專案

  • LeRobot
  • OpenPI
  • OpenArm
  • mjlab
  • NVIDIA Isaac GR00T
  • Holosoma
  • HOPEJr
  • Asimov v1

連結

  • 來源: https://huggingface.co/blog/nepyope/bringing-humanoids-to-lerobot

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。