Legged Locomotion in Challenging Terrains using Egocentric Vision

Auteurs: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un RL sur des échantillons de terrain peu coûteux, suivi d'une distillation vers la profondeur, donne à un quadrupède A1 une politique de la profondeur vers les angles articulaires qui monte des escaliers et des bordures et franchit des fossés et des pierres de gué.

Pourquoi c'est important

La politique déployée utilise une seule caméra de profondeur et ne nécessite ni carte d'élévation, ni localisation, ni MPC, si bien qu'elle s'exécute sur la carte UP et le Jetson NX embarqués du robot. Des démarches comme une forte abduction de la hanche dans les escaliers émergent de l'entraînement, ce qui permet à un robot dont la hanche est à 28 cm de hauteur de monter des marches proches de sa propre hauteur.

Problème

La locomotion à pattes fondée sur la vision est généralement scindée en cartographie d'élévation et planification des appuis, et les cartes d'élévation nécessitent plusieurs images de profondeur fusionnées avec des estimations de pose issues de l'odométrie. La dérive de pose et le bruit des capteurs rendent ces cartes peu fiables sur les fossés et les pierres de gué, et les caméras, lidars et ressources de calcul supplémentaires ne sont pas disponibles sur un petit robot bon marché. Un petit robot ne peut pas non plus s'appuyer sur des a priori de démarche prédéfinis pour franchir des obstacles proches de sa propre hauteur.

Solution proposée

La phase 1 entraîne une politique en simulation avec PPO en utilisant des scandots (hauteurs du terrain échantillonnées en des points fixes sous le robot) et des informations privilégiées, avec des récompenses fondées sur l'énergie et sans a priori de démarche. La phase 2 la distille avec DAgger en une politique récurrente, soit un GRU monolithique, soit des estimateurs de type RMA alimentant la politique de base figée, qui associe directement la profondeur égocentrique et la proprioception à des angles articulaires cibles à 50 Hz et utilise la mémoire pour inférer le terrain sous les pattes arrière.

Idées clés

• Le rendu de la profondeur ralentit la simulation d'un ordre de grandeur ; exécuter le RL sur des scandots peu coûteux puis distiller vers la profondeur par apprentissage supervisé permet d'entraîner tout le système sur un seul GPU en quelques jours.
• Une politique récurrente peut se souvenir du terrain vu auparavant par la caméra avant pour placer les pattes arrière, ce qui remplace une carte d'élévation explicite.
• Sans a priori de démarche, des comportements adaptés à un petit robot, comme une forte abduction de la hanche pour franchir les nez de marche, émergent de récompenses minimisant l'énergie.
• Si les scandots et le champ de vision de la caméra sont choisis de sorte que la perte d'imitation de la phase 2 reste faible, le retour de la politique de phase 2 est, de manière démontrable, proche de l'optimum (théorème 2.1).
• Les chaînes à carte d'élévation nécessitent un fort bruit d'entraînement pour faire face à la dérive de pose ; en simulation, cette référence 'noisy' avance à peine sur les pierres de gué.

Principaux résultats

• Monde réel : 100 % de réussite en montée et en descente d'escaliers (17 cm de haut, 30 cm de profondeur, 13 marches), 100 % sur des fossés de 26 cm et 94 % sur des pierres de gué (30 cm de large, espacées de 15 cm) ; la référence aveugle obtient 0 % en montée d'escaliers, sur les fossés et sur les pierres de gué.
• Totaux en simulation : déplacement moyen vers l'avant de 134,18 m (RMA) et 135,85 m (monolithique) contre 73,05 m (noisy) et 84,79 m (blind) ; temps moyen avant chute de 278,45 s et 275,01 s contre 147,83 s et 175,06 s.
• Pierres de gué simulées : les politiques RMA et monolithique parcourent 18,83 m et 20,72 m, tandis que les références noisy et blind parcourent 1,09 m et 1,02 m.
• Sur les pentes simulées, les politiques avec vision vont plus loin que les références : jusqu'à 27 % selon le texte de la section Results, jusqu'à 25 % selon la légende du Table 1.
• Hauteur des marches lors des tests urbains : jusqu'à 24 cm de haut (28 cm de largeur minimale) selon la section Urban Environments, et jusqu'à 25 cm, soit 89 % de la hauteur de hanche, selon l'Introduction ; bordures jusqu'à 26 cm.
• La référence aveugle réussit la descente d'escaliers à chaque fois, mais avec une démarche en chute à fort impact qui a détaché la hanche arrière droite du robot pendant les essais.

Limites

• Des échecs se produisent encore lorsque la vision ou le terrain diffèrent entre la simulation et le monde réel ; la seule solution dans cette approche est de recréer le cas en simulation et de réentraîner, ce que les auteurs qualifient de limite fondamentale.
• Le robot se déplace seulement dans l'environnement sans interagir avec lui ; l'ajout d'un bras relève de travaux futurs.
• Comme le terrain sous le corps provient de la mémoire visuelle, le robot rate parfois une marche dans les escaliers (il se rattrape), et en extérieur il reste parfois coincé dans des crevasses.
• Les comparaisons en conditions réelles ont utilisé des politiques de phase 2 distinctes : la caméra frontale intégrée pour les escaliers et une caméra supérieure montée à l'extérieur pour les fossés et les pierres de gué.
• Sur le matériel, la méthode n'est comparée qu'à la référence aveugle ; la référence à carte d'élévation (noisy) n'est testée qu'en simulation.

Impact sur le domaine

Lauréat du CoRL 2022 Best Systems Paper Award, avec 373 citations. L'article publie des vidéos sur sa page de projet ; il ne mentionne aucune publication de code.

Résumé

Les animaux sont capables d'une locomotion précise et agile grâce à la vision. Reproduire cette capacité est un objectif de longue date en robotique. L'approche traditionnelle consiste à décomposer ce problème en phases de cartographie d'élévation et de planification des appuis. La cartographie d'élévation est cependant sujette aux défaillances et à de forts artefacts de bruit, exige un matériel spécialisé et est biologiquement invraisemblable. Dans cet article, nous présentons le premier système de locomotion de bout en bout capable de franchir des escaliers, des bordures, des pierres de gué et des fossés. Nous montrons ce résultat sur un robot quadrupède de taille moyenne utilisant une seule caméra de profondeur orientée vers l'avant. La petite taille du robot impose de découvrir des schémas de démarche spécialisés que l'on ne voit pas ailleurs. La caméra égocentrique exige que la politique se souvienne des informations passées pour estimer le terrain sous ses pattes arrière. Nous entraînons notre politique en simulation. L'entraînement comporte deux phases : d'abord, nous entraînons une politique par apprentissage par renforcement avec une variante de l'image de profondeur peu coûteuse à calculer, puis, en phase 2, nous la distillons par apprentissage supervisé dans la politique finale qui utilise la profondeur. La politique obtenue se transfère au monde réel et peut s'exécuter en temps réel avec les ressources de calcul limitées du robot. Elle peut franchir une grande variété de terrains tout en restant robuste à des perturbations comme des poussées, des surfaces glissantes et un terrain rocailleux. Vidéos sur https://vision-locomotion.github.io

Liens

• arXiv 2211.07638: https://arxiv.org/abs/2211.07638
• DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
• PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
• Page du projet: https://vision-locomotion.github.io/