Perceptive Humanoid Parkour
Addestra una policy di parkour con telecamera di profondità per l'Unitree G1 da movimenti umani concatenati
Licenza
Apache-2.0
Panoramica
Perceptive Humanoid Parkour (PHP) è il codice di Amazon FAR per l'omonimo articolo di RSS 2026 (arXiv 2602.15827), in cui un robot umanoide Unitree G1 percorre circuiti a ostacoli usando solo la propria telecamera di profondità di bordo. Il repository contiene le tre fasi dell'articolo. Il motion matching concatena brevi abilità umane, sottoposte a retargeting sul robot, in lunghi movimenti di riferimento con il terreno corrispondente. L'apprendimento per rinforzo addestra poi policy insegnanti a seguire quei movimenti con informazioni privilegiate sul terreno. Infine gli insegnanti vengono distillati in un'unica policy studente che vede solo immagini di profondità. L'addestramento avviene su Holosoma, il framework per umanoidi di Amazon FAR, in Isaac Sim; la policy esportata può essere provata in MuJoCo. Le release aggiungono i database di motion matching, cinque dataset di addestramento pronti e una policy studente esportata. Il codice è con licenza Apache 2.0.
PHP è una pipeline di addestramento per il parkour umanoide sull'Unitree G1. Clonata con il suo sottomodulo Holosoma bloccato, svolge tre lavori, ciascuno con la propria guida. Il motion matching costruisce i dati: unisce clip umane sottoposte a retargeting di camminata, corsa, passi, arrampicata, capriole e volteggi in lunghi movimenti di riferimento, ciascuno abbinato a un terreno di blocchi randomizzato. Richiede solo Conda, senza simulatore. L'addestramento avviene su Holosoma in Isaac Sim, su Linux con una GPU NVIDIA. Le policy insegnanti imparano a seguire i movimenti generati usando informazioni privilegiate sul terreno. Un launcher le distilla poi in un unico studente che vede solo immagini di profondità RealSense D435i, la percezione del corpo e un comando di direzione, usando l'apprendimento per imitazione DAgger e l'apprendimento per rinforzo. Lo studente si esporta come due file ONNX, un encoder di profondità e la policy, e la guida sim-to-sim li esegue in MuJoCo con il controllo da tastiera.
Il modo più rapido per iniziare è la demo. Uno script di download recupera la policy studente rilasciata e la verifica con i checksum del repository, e la guida sim-to-sim la esegue in MuJoCo. Per addestrarne una propria si parte dai dataset pronti o se ne generano di nuovi con il motion matching. Il registro delle abilità comprende passi, arrampicate a diverse altezze, capriole, un ostacolo, tre tipi di volteggio, un salto e una discesa, e ci sono strumenti per aggiungere un'abilità da una propria clip e per comporre nuovi circuiti.
Rilasciati: il codice con licenza Apache 2.0, il database di motion matching, cinque dataset di addestramento pronti che coprono locomozione, passi e arrampicate fino a 0,76 m, e una policy studente, che il progetto upstream descrive come una policy di locomozione basata sulla profondità. Non rilasciati: i checkpoint degli insegnanti, i dati pronti per volteggi, capriole e arrampicate da 1,25 m, e qualsiasi guida per il robot reale. Tutto nel repository si ferma alla simulazione, quindi portare una policy su un G1 fisico resta a carico dell'utente.
Il codice accompagna l'omonimo articolo di Amazon FAR a RSS 2026. L'articolo sostiene che un comportamento umanoide agile richiede tre cose insieme: movimenti dall'aspetto umano, la capacità di concatenarli lungo un percorso lungo e la percezione per scegliere tra di essi. Ecco perché la pipeline ha una fase per ciascuna. Su un G1 reale l'articolo riporta arrampicate fino a 1,25 m, volteggi e capriole scelti solo in base all'immagine di profondità. Questi sono i risultati dell'articolo, non qualcosa che la release riproduce così com'è.
Perché è importante
Il parkour umanoide è arrivato soprattutto sotto forma di video. Questo è uno dei pochi risultati di quel livello in cui viene rilasciato anche il metodo: l'articolo riporta un G1 che supera ostacoli fino a 1,25 m, il 96% della propria altezza, e concatena volteggi, arrampicate e capriole con nient'altro che la percezione di profondità di bordo e un semplice comando di direzione. Il codice mostra come sono stati costruiti i movimenti di riferimento, come sono stati addestrati i tracker e come sono stati fusi in un'unica policy percettiva, su un robot che molti laboratori possiedono già e su un framework a sua volta aperto.
Il problema che risolve
I controller di motion tracking possono far riprodurre a un umanoide una clip registrata, ma una clip è fissa: non può essere riordinata per un nuovo percorso né adattata quando un ostacolo si sposta. PHP genera su richiesta i movimenti di riferimento concatenando brevi abilità adattate a un terreno randomizzato, poi addestra un'unica policy che sceglie ed esegue l'abilità giusta in base a ciò che vede la sua telecamera di profondità.
Punti chiave
- Tre fasi in un unico repository: motion matching, addestramento degli insegnanti e distillazione in uno studente basato sulla profondità
- Il motion matching compone abilità umane sottoposte a retargeting in lunghe traiettorie con il terreno abbinato, e non richiede alcun simulatore
- Insegnanti e studenti si addestrano su Holosoma in Isaac Sim; la coppia ONNX esportata funziona in MuJoCo
- Lo studente riceve immagini di profondità RealSense D435i, propriocezione e un comando di direzione, e sceglie da sé l'abilità
- Le release includono i database di movimento, cinque dataset pronti di 296 coppie di movimento e terreno e una policy studente
- L'articolo riporta arrampicate fino a 1,25 m su un Unitree G1 reale; accettato a RSS 2026, codice con licenza Apache-2.0
A chi si rivolge
- Ricercatori che lavorano su controllo del corpo intero e locomozione agile degli umanoidi
- Laboratori con un Unitree G1 che vogliono policy percettive di motion tracking
- Utenti di Holosoma che cercano un esempio completo di addestramento basato sulla profondità
- Chiunque studi come distillare più policy esperte in un'unica policy basata sulla visione
Limiti
- Costruito solo per l'Unitree G1, con lo studente di profondità legato a una RealSense D435i
- Addestramento e valutazione richiedono Linux, una GPU NVIDIA e Isaac Sim; l'esempio con più insegnanti usa otto GPU
- Non sono rilasciati checkpoint degli insegnanti, quindi riprodurre lo studente significa prima addestrare gli insegnanti
- I dataset pronti coprono locomozione, passi e un'arrampicata da 0,76 m, non i volteggi, le capriole o le arrampicate da 1,25 m dell'articolo
- Il repository documenta solo la simulazione; non ha alcuna guida per eseguire la policy sul robot fisico
- Dipende da un branch di Holosoma bloccato anziché da una release di Holosoma, e il logging usa per impostazione predefinita Weights & Biases