Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Autori: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

DWL addestra in Isaac Gym una policy di camminata per umanoidi che impara a ricostruire lo stato completo del robot dalla propriocezione rumorosa, poi gira senza modifiche su robot XBot reali su scale, pendii e neve.

Perché è importante

La stessa policy, usando solo le letture dei giunti, i dati dell'IMU, un segnale di clock e comandi di velocità, senza telecamera né LiDAR, si è trasferita zero-shot a due taglie di umanoide e ha gestito scale, pendii, blocchi irregolari, neve, carichi aggiunti e spinte. Per gli ingegneri di robot con gambe è una ricetta concreta per ottenere la stima dello stato (velocità della base, contatto dei piedi, un profilo approssimativo del terreno) dalla stessa rete che produce le azioni. Fornisce inoltre un confronto diretto che mostra come le caviglie a 2-DoF a controllo attivo abbiano contato sui terreni più difficili.

Problema

Gli umanoidi hanno un baricentro alto, gambe, busto e braccia pesanti e una fase di oscillazione della gamba instabile, e gli autori notano che i precedenti controllori di RL per umanoidi nel mondo reale erano limitati a terreni relativamente semplici. Una policy addestrata in simulazione deve inoltre fare i conti con sensori rumorosi, una dinamica simulata imperfetta e grandezze come la velocità lineare e la forza di contatto che il robot reale non può misurare.

Soluzione proposta

Denoising World Model Learning (DWL) tratta il divario sim-to-real come rumore sullo stato reale: in addestramento maschera le grandezze non osservabili e applica la domain randomization, e un encoder GRU comprime la storia delle osservazioni in un latente a 24 dimensioni da cui un decoder deve ricostruire lo stato completo, compresi velocità della base, attrito, contatto dei piedi e una scansione dell'altezza del terreno. L'attore agisce su quel latente ed è addestrato con PPO mentre un critico asimmetrico vede lo stato completo, con le loss di denoising, di policy e di valore ottimizzate insieme. La policy controlla attivamente entrambi i gradi di libertà della caviglia tramite una catena cinematica chiusa, e una traiettoria del piede con un polinomio di quinto grado fornisce una ricompensa densa per un contatto morbido del piede.

Idee chiave

Modellare il divario sim-to-real come rumore ambientale, dinamico, sensoriale e di mascheramento, e addestrare un encoder-decoder a rimuoverlo, dà alla policy uno stimatore dello stato integrato.
Dalla sola propriocezione, lo stato latente contiene informazioni sufficienti a recuperare un profilo approssimativo dell'altezza del terreno, i contatti dei piedi e la velocità della base, e l'andatura cambia quando il robot passa da un pendio alle scale.
Il controllo attivo di entrambi i DoF della caviglia tramite una catena cinematica chiusa è stato decisivo su terreno irregolare e sulle scale; Isaac Gym non può modellare la catena chiusa, quindi vengono simulati due motori virtuali e i loro riferimenti vengono rimappati sui motori reali.
Premiare l'inseguimento della velocità del piede lungo una traiettoria di oscillazione pianificata con un polinomio di quinto grado, invece di affidarsi solo a forze di contatto sparse, dà un segnale di ricompensa a ogni passo e favorisce appoggi delicati.

Risultati principali

Su XBot-S, DWL ha avuto il 100 % di successo su pendio, salita delle scale, discesa delle scale e terreno irregolare; PPO con controllo della caviglia ha ottenuto 80 %, 20 %, 60 % e 20 %, e DWL con caviglie passive 80 %, 20 %, 100 % e 40 %.
Il robot ha continuato a camminare con fino a 15 kg aggiunti progressivamente a una borsa che portava (oltre un terzo del suo peso), ha camminato con fino a 20 kg di carico extra e ha spinto un carrello caricato con 60 kg.
In una prova sim-to-sim in MuJoCo, l'MSE della stima della velocità in avanti su 60 s è stato 0,046 e l'MSE della stima dell'imbardata di Euler 0,074; sul robot reale la deriva dell'IMU si è ridotta di circa l'87 %.
Un'unica policy, eseguita a 100 Hz con un anello PD a 500 Hz, si è trasferita zero-shot a XBot-S (1,2 m, 38 kg) e XBot-L (1,65 m, 57 kg), comprese camminate all'aperto su cemento, mattoni, terra e neve.
L'attore di DWL ha circa 320.192 parametri addestrabili ed è stato addestrato con 12.288 ambienti simulati in parallelo.

Limiti

La policy non usa input visivi; gli autori lasciano a lavori futuri l'aggiunta di informazioni visive per la navigazione su terreni impegnativi.
Gli autori affermano che prevedere con precisione la forma del terreno dalla propriocezione resta difficile; viene recuperato solo un profilo approssimativo.
Gli stati reali non possono essere misurati sul robot reale, quindi l'accuratezza della stima di velocità e imbardata è stata verificata in un trasferimento sim-to-sim in MuJoCo anziché sull'hardware.
I confronti di benchmark sono stati eseguiti solo su XBot-S con le braccia ferme, e l'articolo non indica su quante prove si basa ciascun tasso di successo.
Solo controllo delle gambe: i motori delle braccia sono rimasti fermi per tutto lo studio.

Impatto sul settore

Finalista del RSS 2024 Outstanding Paper Award e citato 152 volte. L'articolo pubblica in appendice l'architettura completa della rete, i termini della ricompensa, gli intervalli di domain randomization e gli iperparametri. Non indica alcun rilascio di codice, modello o progetto hardware.

Abstract

I robot umanoidi, con la loro struttura scheletrica simile a quella umana, sono particolarmente adatti a compiti in ambienti a misura d'uomo. Tuttavia, questa struttura comporta sfide aggiuntive nella progettazione del controllore di locomozione, soprattutto in ambienti reali complessi. Di conseguenza, i robot umanoidi esistenti sono limitati a terreni relativamente semplici, sia con il controllo basato su modello sia con l'apprendimento per rinforzo senza modello. In questo lavoro presentiamo Denoising World Model Learning (DWL), un framework di apprendimento per rinforzo end-to-end per il controllo della locomozione degli umanoidi, che dimostra il primo robot umanoide al mondo in grado di padroneggiare terreni reali impegnativi come terreno innevato e in pendenza all'aperto, salita e discesa di scale e terreni estremamente irregolari. Tutti gli scenari eseguono la stessa rete neurale appresa con trasferimento sim-to-real zero-shot, a indicare la robustezza e la capacità di generalizzazione superiori del metodo proposto.

Link

arXiv 2408.14472: https://arxiv.org/abs/2408.14472
DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
PDF: https://arxiv.org/pdf/2408.14472v1