Learning Vision-Based Bipedal Locomotion for Challenging Terrain

Auteurs: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une politique RL entraînée en simulation et un prédicteur de carte de hauteur à partir d'images de profondeur permettent au bipède Cassie de franchir des blocs, des escaliers et une marche de 0,5 m sans odométrie globale ni ajustement fin en conditions réelles.

Pourquoi c'est important

L'ensemble du système s'exécute à bord et n'estime pas de pose globale, ce qui supprime une source d'échec courante pour les robots à pattes qui frappent le sol fort et souvent. Les auteurs présentent ce travail comme la première démonstration sim-to-real de locomotion bipède fondée sur la vision sur terrain difficile, et ils documentent les choix d'entraînement qui ont été nécessaires pour que le transfert fonctionne.

Problème

Les contrôleurs RL pour bipèdes ont surtout été aveugles, ne s'appuyant que sur la proprioception : ils ne peuvent donc pas anticiper le terrain et tendent à utiliser des démarches agressives avec des trajectoires d'oscillation hautes. Les chaînes de perception fondées sur des modèles découpent le problème en contrôle du corps entier, planification des appuis, odométrie et cartographie du terrain, et les cartes construites dans un repère global dérivent avec l'erreur d'estimation de pose causée par les contacts fréquents et les mouvements agressifs.

Solution proposée

Une politique de locomotion est entraînée avec PPO dans MuJoCo sur une carte de hauteur de 1,5 m sur 1 m à une résolution de 5 cm, exprimée par rapport à la base flottante du robot ; elle combine une politique aveugle LSTM pré-entraînée et un modulateur fondé sur la vision qui ajuste aussi la fréquence de la démarche et les déphasages de chaque jambe. Un prédicteur de carte de hauteur distinct (une étape LSTM suivie d'une étape d'affinage U-Net) est entraîné sur 30 000 épisodes simulés pour associer à un historique d'images de profondeur égocentriques et d'états du robot cette carte de hauteur. La randomisation de domaine de la dynamique, de l'efficacité du couple, des délais, du bruit de la carte de hauteur et du bruit des images de profondeur permet de transférer les deux réseaux au robot réel.

Idées clés

• Exprimer la carte de hauteur dans le repère local du robot permet à la politique de réagir au terrain sans cartographie globale ni odométrie ; sur le matériel, la politique a quand même placé correctement les pieds en phase d'oscillation au-dessus d'un terrain que la caméra ne voyait plus, ce que les auteurs interprètent comme le maintien par la politique d'une odométrie interne.
• Le mélange de terrains échantillonnés (surtout des blocs, des crêtes et des escaliers) a façonné une démarche robuste et non agressive plus efficacement que l'ajout de termes de récompense heuristiques : les escaliers régulent la longueur du pas et les crêtes la hauteur du pas.
• Sans pénalité de collision des pieds, la politique atteignait un succès similaire en simulation mais utilisait les collisions comme retour d'information, par exemple en faisant glisser un pied le long d'une paroi verticale ; les trébuchements fréquents qui en résultaient empêchaient le transfert sim-to-real.
• Randomiser l'efficacité du couple était particulièrement important pour la marche de 0,5 m, où le moteur du genou sature.
• Une horloge de démarche apprise et un critique recevant des entrées privilégiées (positions globales des pieds, cartes de hauteur autour de chaque pied, télémètres au bout des pieds) ont tous deux augmenté le succès dans les réglages de terrain difficiles en simulation.

Principaux résultats

• Sur le matériel, Cassie a franchi des blocs hauts isolés, des escaliers, des blocs aléatoires et une marche de 0,5 m (environ 60 % de la longueur de jambe) à des vitesses allant jusqu'à 1 m/s, et a maintenu sa vitesse et son cap sur un tapis roulant pendant qu'une personne y poussait des blocs.
• Erreur de reconstruction de la carte de hauteur en simulation (MAE) : LSTM 2,806 cm, Transformer 4,221 cm, MLP 4,932 cm, LSTM sans états du robot 4,448 cm.
• En simulation en boucle fermée, tous les prédicteurs de carte de hauteur ont donné des taux de succès similaires, mais le prédicteur LSTM a produit le moins d'épisodes avec collision des pieds et le moins d'arrêts causés par une collision.
• Sur le robot, le flux de profondeur tournait à 90 FPS, l'inférence de la carte de hauteur seule tournait à 200 Hz sur le Jetson Orin Nano, et le délai de bout en bout entre le prédicteur et la politique a été mesuré jusqu'à 20 ms.
• Dans les ablations en simulation (1000 épisodes par mode de terrain), les politiques sans l'horloge apprise ou sans le critique privilégié avaient un succès nettement plus faible sur terrain difficile, et la politique aveugle a obtenu les pires résultats.

Limites

• Comme une seule caméra orientée vers l'avant est utilisée, les consignes de vitesse sur les terrains à crêtes, à escaliers et à blocs excluent la marche arrière et latérale.
• La caméra égocentrique ne peut pas voir le sol sous le robot, de sorte que le terrain sous les pieds doit être géré à partir de ce que la politique a déjà vu.
• Les résultats sur le matériel sont présentés qualitativement (blocs de bois au laboratoire, escaliers, un tapis roulant et la vidéo de soumission) ; l'article ne donne aucun taux de succès en conditions réelles.
• Les terrains d'entraînement et d'évaluation sont limités à cinq types générés de manière procédurale : plat, collines, blocs, crêtes et escaliers.
• La pénalité de collision des pieds n'agit que comme une contrainte souple, que la politique peut violer pour éviter de tomber.

Impact sur le domaine

Finaliste du prix IEEE ICRA 2024 Best Paper Award in Cognitive Robotics, avec 98 citations. L'article ne renvoie à aucun code, aucune donnée ni aucune conception matérielle publiés.

Résumé

L'apprentissage par renforcement (RL) pour la locomotion bipède a récemment démontré des démarches robustes sur des terrains modérés en n'utilisant que la perception proprioceptive. Cependant, de tels contrôleurs aveugles échoueront dans des environnements où les robots doivent anticiper le terrain local et s'y adapter, ce qui exige une perception visuelle. Dans cet article, nous proposons un système entièrement appris qui permet aux robots bipèdes de réagir au terrain local tout en maintenant la vitesse et la direction de déplacement commandées. Notre approche entraîne d'abord un contrôleur en simulation à l'aide d'une carte de hauteur exprimée dans le repère local du robot. Ensuite, des données sont collectées en simulation pour entraîner un prédicteur de carte de hauteur, dont l'entrée est l'historique des images de profondeur et des états du robot. Nous montrons qu'avec une randomisation de domaine appropriée, cette approche permet un transfert sim-to-real réussi sans estimation explicite de la pose et sans ajustement fin sur des données réelles. À notre connaissance, il s'agit du premier exemple d'apprentissage sim-to-real pour la locomotion bipède fondée sur la vision sur des terrains difficiles.

Liens

• arXiv 2309.14594: https://arxiv.org/abs/2309.14594
• DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
• PDF: https://arxiv.org/pdf/2309.14594v2