Learning Vision-Based Bipedal Locomotion for Challenging Terrain

Autori: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Una policy di RL addestrata in simulazione più un predittore da profondità a mappa delle altezze permettono al bipede Cassie di superare blocchi, scale e un gradino di 0,5 m senza odometria globale né fine-tuning nel mondo reale.

Perché è importante

L'intero sistema gira a bordo e non stima la posa globale, eliminando una causa comune di guasti per i robot con gambe, che colpiscono il suolo con forza e spesso. Gli autori lo presentano come la prima dimostrazione sim-to-real di locomozione bipede basata sulla visione su terreno impegnativo, e documentano quali scelte di addestramento sono state necessarie perché il trasferimento funzionasse.

Problema

I controllori RL per bipedi sono stati per lo più ciechi, basati sulla sola propriocezione, per cui non possono anticipare il terreno e tendono a usare andature aggressive con traiettorie di oscillazione alte. Le pipeline percettive basate su modelli suddividono il problema in controllo del corpo intero, pianificazione degli appoggi, odometria e mappatura del terreno, e le mappe costruite in un sistema di riferimento globale derivano con l'errore di stima della posa causato da contatti frequenti e movimenti aggressivi.

Soluzione proposta

Una policy di locomozione viene addestrata con PPO in MuJoCo su una mappa delle altezze di 1,5 m per 1 m con risoluzione di 5 cm, espressa rispetto alla base flottante del robot; combina una policy cieca LSTM pre-addestrata con un modulatore basato sulla visione che regola anche la frequenza dell'andatura e gli sfasamenti di fase di ciascuna gamba. Un predittore separato della mappa delle altezze (uno stadio LSTM seguito da uno stadio di raffinamento U-Net) viene addestrato su 30.000 episodi simulati per ricavare quella mappa delle altezze da una storia di immagini di profondità egocentriche e di stati del robot. La domain randomization di dinamica, efficienza di coppia, ritardi, rumore della mappa delle altezze e rumore delle immagini di profondità porta entrambe le reti sul robot reale.

Idee chiave

Esprimere la mappa delle altezze nel sistema di riferimento locale del robot permette alla policy di reagire al terreno senza mappatura globale né odometria; sull'hardware la policy ha continuato a posizionare correttamente i piedi in fase di volo su terreno che la telecamera non vedeva più, cosa che gli autori interpretano come il mantenimento di un'odometria interna da parte della policy.
Il mix di terreni campionati (soprattutto blocchi, creste e scale) ha modellato un'andatura robusta e non aggressiva in modo più efficace dell'aggiunta di termini di ricompensa euristici: le scale regolano la lunghezza del passo e le creste l'altezza del passo.
Senza una penalità per le collisioni dei piedi la policy ha raggiunto un successo simile in simulazione, ma usava le collisioni come feedback, ad esempio facendo scivolare un piede su una parete verticale; gli inciampi frequenti che ne derivavano hanno impedito il trasferimento sim-to-real.
Randomizzare l'efficienza di coppia è stato particolarmente importante per il gradino di 0,5 m, dove il motore del ginocchio va in saturazione.
Un clock dell'andatura appreso e un critic con input privilegiati (posizioni globali dei piedi, mappe delle altezze attorno a ciascun piede, telemetri sulla punta dei piedi) hanno entrambi aumentato il successo sui terreni difficili in simulazione.

Risultati principali

Sull'hardware, Cassie ha superato singoli blocchi alti, scale, blocchi casuali e un gradino di 0,5 m (circa il 60 % della lunghezza della gamba) a velocità fino a 1 m/s, e ha mantenuto velocità e direzione su un tapis roulant mentre una persona vi metteva sopra dei blocchi.
Errore di ricostruzione della mappa delle altezze in simulazione (MAE): LSTM 2,806 cm, Transformer 4,221 cm, MLP 4,932 cm, LSTM senza stati del robot 4,448 cm.
In simulazione ad anello chiuso tutti i predittori della mappa delle altezze hanno dato tassi di successo simili, ma il predittore LSTM ha prodotto il minor numero di episodi con collisioni dei piedi e di interruzioni causate da collisioni.
Sul robot il flusso di profondità girava a 90 FPS, la sola inferenza della mappa delle altezze girava a 200 Hz sulla Jetson Orin Nano, e il ritardo end-to-end tra predittore e policy è stato misurato fino a 20 ms.
Nelle ablazioni in simulazione (1000 episodi per modalità di terreno), le policy senza il clock appreso o senza il critic privilegiato hanno avuto un successo nettamente inferiore sul terreno difficile, e la policy cieca ha dato i risultati peggiori.

Limiti

Poiché si usa una sola telecamera rivolta in avanti, i comandi di velocità su terreno con creste, scale e blocchi escludono la camminata all'indietro e laterale.
La telecamera egocentrica non può vedere il suolo sotto il robot, quindi il terreno sotto i piedi va gestito in base a ciò che la policy ha già visto.
I risultati sull'hardware sono mostrati in modo qualitativo (blocchi di legno del laboratorio, scale, un tapis roulant e il video della submission); l'articolo non fornisce tassi di successo nel mondo reale.
I terreni di addestramento e valutazione si limitano a cinque tipi generati proceduralmente: piano, colline, blocchi, creste e scale.
La penalità per le collisioni dei piedi agisce solo come vincolo morbido, che la policy può violare per evitare di cadere.

Impatto sul settore

Finalista dell'IEEE ICRA 2024 Best Paper Award in Cognitive Robotics, con 98 citazioni. L'articolo non rimanda a codice, dati o progetti hardware rilasciati.

Abstract

L'apprendimento per rinforzo (RL) per la locomozione bipede ha dimostrato di recente andature robuste su terreni moderati usando solo il rilevamento propriocettivo. Tuttavia, tali controllori ciechi falliranno in ambienti in cui i robot devono anticipare il terreno locale e adattarvisi, il che richiede percezione visiva. In questo articolo proponiamo un sistema interamente appreso che consente ai robot bipedi di reagire al terreno locale mantenendo la velocità e la direzione di marcia comandate. Il nostro approccio addestra prima un controllore in simulazione usando una mappa delle altezze espressa nel sistema di riferimento locale del robot. Successivamente, si raccolgono dati in simulazione per addestrare un predittore della mappa delle altezze, il cui input è la storia delle immagini di profondità e degli stati del robot. Dimostriamo che, con un'adeguata domain randomization, questo approccio consente un trasferimento sim-to-real riuscito senza stima esplicita della posa e senza fine-tuning con dati del mondo reale. Per quanto ci risulta, questo è il primo esempio di apprendimento sim-to-real per la locomozione bipede basata sulla visione su terreni impegnativi.

Link

arXiv 2309.14594: https://arxiv.org/abs/2309.14594
DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
PDF: https://arxiv.org/pdf/2309.14594v2