Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Auteurs: Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen · RSS 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

DWL entraîne dans Isaac Gym une politique de marche humanoïde qui apprend à reconstituer l'état complet du robot à partir d'une proprioception bruitée, puis s'exécute sans modification sur de vrais robots XBot dans des escaliers, sur des pentes et sur la neige.

Pourquoi c'est important

La même politique, n'utilisant que les mesures articulaires, les données IMU, un signal d'horloge et des consignes de vitesse, sans caméra ni LiDAR, s'est transférée en zero-shot à deux tailles d'humanoïdes et a géré escaliers, pentes, blocs irréguliers, neige, charges ajoutées et poussées. Pour les ingénieurs en robots à pattes, c'est une recette concrète pour obtenir l'estimation d'état (vitesse de la base, contact des pieds, profil approximatif du terrain) à partir du même réseau qui produit les actions. Elle fournit aussi une comparaison directe montrant que des chevilles à 2-DoF commandées activement comptaient sur les terrains les plus difficiles.

Problème

Les humanoïdes ont un centre de gravité haut, des jambes, un torse et des bras lourds, et une phase de balancement de la jambe instable, et les auteurs notent que les contrôleurs RL réels antérieurs pour humanoïdes étaient limités à des terrains relativement simples. Une politique entraînée en simulation doit aussi composer avec des capteurs bruités, une dynamique simulée imparfaite et des grandeurs comme la vitesse linéaire et la force de contact que le robot réel ne peut pas mesurer.

Solution proposée

Denoising World Model Learning (DWL) traite l'écart sim-to-real comme un bruit sur l'état réel : pendant l'entraînement, il masque les grandeurs non observables et applique une randomisation de domaine, et un encodeur GRU compresse l'historique des observations en un vecteur latent de 24 dimensions à partir duquel un décodeur doit reconstituer l'état complet, y compris la vitesse de la base, le frottement, le contact des pieds et un relevé de hauteur du terrain. L'acteur agit à partir de ce vecteur latent et est entraîné par PPO, tandis qu'un critique asymétrique voit l'état complet, les pertes de débruitage, de politique et de valeur étant optimisées ensemble. La politique commande activement les deux degrés de liberté de la cheville par une chaîne cinématique fermée, et une trajectoire de pied polynomiale de degré cinq fournit une récompense dense pour un contact de pied en douceur.

Idées clés

• Modéliser l'écart sim-to-real comme un bruit d'environnement, de dynamique, de capteurs et de masquage, et entraîner un encodeur-décodeur à le supprimer, dote la politique d'un estimateur d'état intégré.
• À partir de la seule proprioception, l'état latent contient assez d'informations pour reconstituer un profil approximatif de hauteur du terrain, les contacts des pieds et la vitesse de la base, et la démarche change lorsque le robot passe d'une pente à des escaliers.
• La commande active des deux DoF de la cheville par une chaîne cinématique fermée a été décisive sur terrain irrégulier et dans les escaliers ; Isaac Gym ne pouvant pas modéliser la chaîne fermée, deux moteurs virtuels sont simulés et leurs consignes sont remappées vers les moteurs réels.
• Récompenser le suivi de la vitesse du pied le long d'une trajectoire de balancement planifiée par un polynôme de degré cinq, plutôt que de s'appuyer uniquement sur des forces de contact éparses, fournit un signal de récompense à chaque pas et favorise des poses de pied en douceur.

Principaux résultats

• Sur XBot-S, DWL a réussi à 100 % en pente, en montée d'escalier, en descente d'escalier et sur terrain irrégulier ; PPO avec commande de cheville a obtenu 80 %, 20 %, 60 % et 20 %, et DWL avec chevilles passives 80 %, 20 %, 100 % et 40 %.
• Le robot a continué à marcher avec jusqu'à 15 kg ajoutés progressivement dans un sac porté (plus d'un tiers de son poids), a marché avec jusqu'à 20 kg de charge supplémentaire et a poussé un chariot chargé de 60 kg.
• Dans un test sim-to-sim sous MuJoCo, la MSE d'estimation de la vitesse vers l'avant sur 60 s était de 0,046 et la MSE d'estimation du lacet d'Euler de 0,074 ; sur le robot réel, la dérive de l'IMU a été réduite d'environ 87 %.
• Une seule politique, tournant à 100 Hz avec une boucle PD à 500 Hz, s'est transférée en zero-shot à XBot-S (1,2 m, 38 kg) et XBot-L (1,65 m, 57 kg), y compris lors de marches en extérieur sur ciment, brique, terre et neige.
• L'acteur DWL compte environ 320 192 paramètres entraînables et a été entraîné avec 12 288 environnements simulés en parallèle.

Limites

• La politique n'utilise aucune entrée visuelle ; les auteurs laissent à des travaux futurs l'ajout d'informations visuelles pour la navigation sur terrain difficile.
• Les auteurs indiquent que prédire précisément la forme du terrain à partir de la proprioception reste difficile ; seul un profil approximatif est reconstitué.
• Les états réels ne peuvent pas être mesurés sur le robot réel, si bien que la précision de l'estimation de la vitesse et du lacet a été vérifiée par un transfert sim-to-sim sous MuJoCo plutôt que sur le matériel.
• Les comparaisons de référence n'ont été menées que sur XBot-S avec les bras immobiles, et l'article n'indique pas sur combien d'essais repose chaque taux de réussite.
• Commande des jambes uniquement : les moteurs des bras sont restés immobiles tout au long de l'étude.

Impact sur le domaine

Finaliste du RSS 2024 Outstanding Paper Award et cité 152 fois. L'article publie en annexe son architecture de réseau complète, ses termes de récompense, ses plages de randomisation de domaine et ses hyperparamètres. Il ne mentionne aucune publication de code, de modèle ni de conception matérielle.

Résumé

Les robots humanoïdes, avec leur structure squelettique semblable à celle de l'humain, sont particulièrement adaptés aux tâches dans des environnements centrés sur l'humain. Cependant, cette structure s'accompagne de difficultés supplémentaires dans la conception de contrôleurs de locomotion, en particulier dans des environnements réels complexes. En conséquence, les robots humanoïdes existants sont limités à des terrains relativement simples, que ce soit avec une commande fondée sur un modèle ou avec un apprentissage par renforcement sans modèle. Dans ce travail, nous présentons Denoising World Model Learning (DWL), un cadre d'apprentissage par renforcement de bout en bout pour la commande de la locomotion humanoïde, qui démontre le premier robot humanoïde au monde à maîtriser des terrains réels difficiles comme des sols enneigés et inclinés en extérieur, la montée et la descente d'escaliers, et des terrains extrêmement irréguliers. Tous les scénarios utilisent le même réseau de neurones appris avec un transfert sim-to-real zero-shot, ce qui indique la robustesse et la capacité de généralisation supérieures de la méthode proposée.

Liens

• arXiv 2408.14472: https://arxiv.org/abs/2408.14472
• DOI 10.15607/rss.2024.xx.058: https://doi.org/10.15607/rss.2024.xx.058
• PDF: https://arxiv.org/pdf/2408.14472v1