Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Perceptive Humanoid Parkour

以串接的人類動作為 Unitree G1 訓練深度攝影機跑酷策略

授權條款

Apache-2.0

概述

Perceptive Humanoid Parkour(PHP)是 Amazon FAR 為同名 RSS 2026 論文(arXiv 2602.15827)釋出的程式碼,論文中一台 Unitree G1 人形機器人只靠機上的深度攝影機跑完障礙賽道。儲存庫包含論文的三個階段。動作匹配把重定向到機器人上的短暫人類技能串接成長段參考動作,並搭配相應的地形。接著以強化學習訓練教師策略,利用特權地形資訊追蹤這些動作。最後把教師蒸餾成單一的學生策略,只看深度影像。訓練在 Isaac Sim 中的 Holosoma 上執行,這是 Amazon FAR 的人形機器人框架;匯出的策略可在 MuJoCo 中試用。發布內容另外加入動作匹配資料庫、五個已備妥的訓練資料集,以及一個匯出的學生策略。程式碼採用 Apache 2.0 授權。

PHP 是 Unitree G1 人形機器人跑酷的訓練流程。連同其固定版本的 Holosoma 子模組一起複製後,它負責三項工作,每項各有指南。動作匹配負責建構資料:它把重定向後的人類行走、跑步、跨步、攀爬、翻滾與跳越片段縫合成長段參考動作,每段都配上一個隨機化的箱形地形。這一步只需要 Conda,不需要模擬器。訓練在 Linux 與 NVIDIA GPU 上,於 Isaac Sim 中的 Holosoma 執行。教師策略利用特權地形資訊,學習追蹤產生的動作。接著由啟動器把它們蒸餾成單一的學生策略,只看 RealSense D435i 深度影像、身體感測與方向指令,使用 DAgger 模仿學習與強化學習。學生策略匯出為兩個 ONNX 檔案,即深度編碼器與策略,sim-to-sim 指南則在 MuJoCo 中以鍵盤控制執行它們。

最快的入門方式是示範。下載腳本會取得已釋出的學生策略,並以儲存庫的校驗和加以核對,sim-to-sim 指南則在 MuJoCo 中執行它。若要訓練自己的策略,可從已備妥的資料集開始,或用動作匹配產生新的資料集。技能登錄涵蓋跨步、數種高度的攀爬、翻滾、跨欄、三種跳越、一種跳躍與一種落下,另有工具可從你自己的片段加入技能,以及組合新的賽道。

已釋出:採用 Apache 2.0 的程式碼、動作匹配資料庫、五個涵蓋行走運動、跨步與最高 0.76 m 攀爬的已備妥訓練資料集,以及一個學生策略,原專案將其描述為深度行走運動策略。未釋出:教師檢查點、跳越、翻滾與 1.25 m 攀爬的已備妥資料,以及任何針對真實機器人的指南。儲存庫中的一切都止於模擬,因此把策略搬到實體 G1 上要靠你自己。

這套程式碼隨附於 Amazon FAR 的同名 RSS 2026 論文。論文主張,敏捷的人形機器人行為需要同時具備三件事:看起來像人的動作、在長賽道上將動作串接起來的能力,以及在動作之間做選擇的感知。這正是流程為每一項各設一個階段的原因。論文報告,在真實的 G1 上,它能僅憑深度影像完成最高 1.25 m 的攀爬,並選擇跳越與翻滾。這些是論文的結果,並非這次發布開箱即可重現的內容。

為何重要

人形機器人跑酷大多以影片的形式出現。這是少數達到該水準、同時也釋出方法的成果之一:論文報告 G1 能攀上最高 1.25 m 的障礙物,相當於其身高的 96%,並僅憑機上深度感測與簡單的方向指令,就把跳越、攀爬與翻滾串接起來。程式碼展示了參考動作如何建構、追蹤器如何訓練,以及它們如何合併成單一的感知策略,而且是在許多實驗室已擁有的機器人上,以本身也開放的框架完成。

解決的問題

動作追蹤控制器能讓人形機器人重現一段錄製的片段,但片段是固定的:無法為新賽道重新排序,也無法在障礙物移動時調整。PHP 依需求產生參考動作,把短技能串接起來以配合隨機化的地形,再訓練單一策略,根據深度攝影機所見來挑選並執行正確的技能。

重點

  • 一個儲存庫包含三個階段:動作匹配、教師訓練,以及蒸餾成以深度為基礎的學生策略
  • 動作匹配把重定向後的人類技能組合成搭配地形的長軌跡,而且不需要模擬器
  • 教師與學生在 Isaac Sim 中的 Holosoma 上訓練;匯出的 ONNX 檔案組可在 MuJoCo 中執行
  • 學生策略接收 RealSense D435i 深度影像、本體感知與方向指令,並自行選擇技能
  • 發布內容包含動作資料庫、五個由 296 組動作與地形配對構成的已備妥資料集,以及一個學生策略
  • 論文報告在真實的 Unitree G1 上完成最高 1.25 m 的攀爬;已獲 RSS 2026 接受,程式碼採用 Apache-2.0

適用對象

  • 從事人形機器人全身控制與敏捷行走運動的研究人員
  • 擁有 Unitree G1、想要感知式動作追蹤策略的實驗室
  • 想找完整的深度式訓練範例的 Holosoma 使用者
  • 研究如何把多個專家策略蒸餾成單一視覺策略的人

限制

  • 只為 Unitree G1 打造,深度學生策略綁定 RealSense D435i
  • 訓練與評估需要 Linux、NVIDIA GPU 與 Isaac Sim;多教師範例使用八張 GPU
  • 未釋出教師檢查點,因此要重現學生策略必須先訓練教師
  • 已備妥的資料集涵蓋行走運動、跨步與 0.76 m 攀爬,不包含論文中的跳越、翻滾或 1.25 m 攀爬
  • 儲存庫只記錄模擬;沒有在實體機器人上執行策略的指南
  • 它依賴固定的 Holosoma 分支而非 Holosoma 正式版本,記錄預設使用 Weights & Biases

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。