Legged Locomotion in Challenging Terrains using Egocentric Vision

Autori: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

RL su campioni economici del terreno, seguito da distillazione verso la profondità, dà a un quadrupede A1 una policy da profondità ad angoli dei giunti che sale scale e marciapiedi e attraversa varchi e pietre di guado.

Perché è importante

La policy impiegata usa una telecamera di profondità e non richiede mappa di elevazione, localizzazione né MPC, quindi gira sulla scheda UP e sulla Jetson NX a bordo del robot. Andature come una grande abduzione dell'anca sulle scale emergono dall'addestramento, il che permette a un robot con un'altezza dell'anca di 28 cm di salire gradini vicini alla propria altezza.

Problema

La locomozione su gambe basata sulla visione è di solito divisa in mappatura dell'elevazione e pianificazione degli appoggi, e le mappe di elevazione richiedono più immagini di profondità fuse con stime della posa ricavate dall'odometria. La deriva della posa e il rumore dei sensori rendono queste mappe inaffidabili su varchi e pietre di guado, e telecamere, lidar e capacità di calcolo aggiuntive non sono disponibili su un robot piccolo ed economico. Un robot piccolo non può inoltre contare su prior di andatura predefiniti per superare ostacoli vicini alla propria altezza.

Soluzione proposta

La fase 1 addestra una policy in simulazione con PPO usando gli scandot (altezze del terreno campionate in punti fissi sotto il robot) e informazioni privilegiate, con ricompense basate sull'energia e senza prior di andatura. La fase 2 la distilla con DAgger in una policy ricorrente, una GRU monolitica oppure stimatori in stile RMA che alimentano la policy di base congelata, che mappa la profondità egocentrica e la propriocezione direttamente in angoli dei giunti target a 50 Hz e usa la memoria per inferire il terreno sotto le zampe posteriori.

Idee chiave

Il rendering della profondità rallenta la simulazione di un ordine di grandezza; eseguire RL su scandot economici e poi distillare verso la profondità con apprendimento supervisionato permette di addestrare l'intero sistema su una sola GPU in pochi giorni.
Una policy ricorrente può ricordare il terreno visto in precedenza dalla telecamera frontale per posizionare le zampe posteriori, sostituendo una mappa di elevazione esplicita.
Senza prior sull'andatura, comportamenti adatti a un robot piccolo, come una grande abduzione dell'anca per superare i bordi dei gradini, emergono da ricompense che minimizzano l'energia.
Se scandot e campo visivo della telecamera sono scelti in modo che la loss di imitazione della fase 2 resti bassa, il ritorno della policy della fase 2 è dimostrabilmente vicino all'ottimo (Teorema 2.1).
Le pipeline basate su mappe di elevazione richiedono molto rumore in addestramento per far fronte alla deriva della posa; in simulazione questa baseline 'rumorosa' (noisy) si muove appena sulle pietre di guado.

Risultati principali

Mondo reale: 100 % di successo in salita e discesa delle scale (17 cm di alzata, 30 cm di pedata, 13 gradini), 100 % su varchi di 26 cm e 94 % su pietre di guado (larghe 30 cm, distanti 15 cm); la baseline cieca (blind) ottiene lo 0 % in salita, sui varchi e sulle pietre di guado.
Totali in simulazione: spostamento medio in avanti di 134,18 m (RMA) e 135,85 m (monolitica) contro 73,05 m (rumorosa) e 84,79 m (cieca); tempo medio prima della caduta di 278,45 s e 275,01 s contro 147,83 s e 175,06 s.
Pietre di guado simulate: le policy RMA e monolitica percorrono 18,83 m e 20,72 m, mentre le baseline rumorosa e cieca percorrono 1,09 m e 1,02 m.
Sui pendii simulati le policy con visione arrivano più lontano delle baseline: fino al 27 % secondo il testo dei Risultati, fino al 25 % secondo la didascalia della Tabella 1.
Altezza dei gradini nei test urbani: fino a 24 cm (28 cm di larghezza minima) secondo la sezione Urban Environments, e fino a 25 cm, l'89 % dell'altezza dell'anca, secondo l'Introduzione; marciapiedi fino a 26 cm.
La baseline cieca completa ogni volta la discesa delle scale, ma con un'andatura a caduta ad alto impatto che durante le prove ha staccato l'anca posteriore destra del robot.

Limiti

Si verificano ancora fallimenti quando la visione o il terreno differiscono tra simulazione e mondo reale; l'unico rimedio in questo approccio è ricreare il caso in simulazione e riaddestrare, cosa che gli autori definiscono un limite fondamentale.
Il robot si muove soltanto nell'ambiente e non interagisce con esso; aggiungere un braccio è lavoro futuro.
Poiché il terreno sotto il corpo deriva dalla memoria visiva, il robot a volte manca un gradino sulle scale (e si riprende), e all'aperto a volte resta bloccato nelle fessure.
I confronti nel mondo reale hanno usato policy di fase 2 separate: la telecamera frontale integrata per le scale e una telecamera superiore montata esternamente per i varchi e le pietre di guado.
Sull'hardware il metodo è confrontato solo con la baseline cieca; la baseline con mappa di elevazione (rumorosa) è testata solo in simulazione.

Impatto sul settore

Vincitore del premio per il miglior articolo sui sistemi di CoRL 2022 (Best Systems Paper Award), con 373 citazioni. L'articolo pubblica video sulla pagina del progetto; non indica alcun rilascio del codice.

Abstract

Gli animali sono capaci di una locomozione precisa e agile grazie alla vista. Replicare questa capacità è un obiettivo di lunga data della robotica. L'approccio tradizionale consiste nello scomporre il problema in fasi di mappatura dell'elevazione e di pianificazione degli appoggi. La mappatura dell'elevazione, tuttavia, è soggetta a guasti e a grandi artefatti di rumore, richiede hardware specializzato ed è biologicamente implausibile. In questo articolo presentiamo il primo sistema di locomozione end-to-end in grado di percorrere scale, marciapiedi, pietre di guado e varchi. Mostriamo questo risultato su un robot quadrupede di medie dimensioni usando un'unica telecamera di profondità rivolta in avanti. Le piccole dimensioni del robot rendono necessario scoprire andature specializzate non viste altrove. La telecamera egocentrica richiede che la policy ricordi le informazioni passate per stimare il terreno sotto le zampe posteriori. Addestriamo la nostra policy in simulazione. L'addestramento ha due fasi: prima addestriamo una policy con l'apprendimento per rinforzo usando una variante dell'immagine di profondità economica da calcolare, poi nella fase 2 la distilliamo, tramite apprendimento supervisionato, nella policy finale che usa la profondità. La policy risultante si trasferisce al mondo reale ed è in grado di funzionare in tempo reale con la limitata capacità di calcolo del robot. Può attraversare un'ampia varietà di terreni restando robusta a perturbazioni come spinte, superfici scivolose e terreno roccioso. I video sono su https://vision-locomotion.github.io

Link

arXiv 2211.07638: https://arxiv.org/abs/2211.07638
DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
Pagina del progetto: https://vision-locomotion.github.io/