Perceptive pedipulation with local obstacle avoidance

Auteurs: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Politique RL de bout en bout pour ANYmal, qui suit une commande de position du pied tout en évitant les obstacles avec tout son corps, à l'aide d'un balayage de hauteur 2,5D et d'un interrupteur autorisant un contact volontaire du pied.

Pourquoi c'est important

L'interface de commande reste une simple commande de position du pied, si bien qu'un opérateur humain ou un planificateur de haut niveau peut l'utiliser près d'obstacles sans planifier de mouvement sans collision pour l'ensemble du corps. Elle donne à un quadrupède des capacités de manipulation sans bras dédié, dont les auteurs notent qu'il ajoute de la masse et de la complexité et réduit la charge utile.

Problème

Les politiques de pédipulation antérieures suivent une commande de position du pied à l'aide de la seule proprioception ; elles ne peuvent donc pas éviter les obstacles et heurtent tout ce qui se trouve sur leur passage. Placer un planificateur conscient des obstacles au-dessus d'une politique aveugle laisse le reste du corps libre d'entrer en collision, et les grandes marges de sécurité nécessaires pour l'empêcher excluent le travail dans des espaces confinés.

Solution proposée

Une seule politique RL, entraînée dans NVIDIA Isaac Lab, prend en entrée la proprioception, un balayage de hauteur de 2,4 m × 1,6 m à une résolution de 0,1 m et une commande de position du pied, et produit des décalages de position articulaire. L'entraînement se déroule en trois étapes : pédipulation sans obstacles avec un curriculum sur l'espace des commandes, puis obstacles parallélépipédiques mobiles dans cinq scénarios avec des pénalités à la fois sur les événements de contact et sur les forces de contact, puis ajout de bruit dans la carte d'élévation pour le transfert sim-to-real. Un interrupteur de contact booléen décide si le contact avec le pied avant droit est pénalisé, de sorte que la même politique peut soit éviter un obstacle, soit le pousser.

Idées clés

• Pénaliser à la fois les événements de contact et l'intensité des forces de contact bloque deux contournements : pousser un obstacle avec une force minimale, et l'écarter d'une poussée brève et forte.
• Cinq scénarios d'entraînement statiques avec des pavés ont suffi pour que la politique évite des formes jamais vues et des obstacles mobiles ; les auteurs en déduisent qu'elle traite chaque cellule occupée du balayage de hauteur comme une colonne d'espace à éviter plutôt que de reconnaître la forme des objets.
• Des obstacles mobiles plutôt que des obstacles de terrain statiques coûtent du temps d'entraînement mais permettent à la politique d'apprendre à pousser des objets lorsque l'interrupteur de contact l'autorise.
• Entraîner d'abord la pédipulation sans obstacles puis ajouter les obstacles ensuite accélère l'entraînement.
• La politique suit des points, pas des trajectoires, si bien qu'aller atteindre un point derrière son dos peut la laisser dans une pose peu adaptée pour suivre le reste d'un chemin.

Principaux résultats

• Suivi en espace libre sur 1024 commandes échantillonnées : erreur moyenne de 0,057 m avec l'interrupteur de contact à 0 (éviter) et de 0,047 m avec l'interrupteur à 1 (contact autorisé).
• Atteinte derrière un angle en simulation : la politique aveugle antérieure a heurté l'angle et est tombée ; la politique perceptive a pris un chemin plus long et a évité les collisions.
• Tests en simulation avec un seul obstacle : aucune auto-collision ni collision avec l'environnement dans les quatre tests ; avec un obstacle abaissé, le pied est passé par-dessus au lieu de le contourner.
• Quatre obstacles : avec un écart de 1,3 m, la politique a cessé de tourner sa base et est allée atteindre un point derrière son dos, avec quelques collisions de faible force à l'arrière de la base ; les chemins de commande dans le sens horaire ont dégradé le suivi.
• Sur le matériel ANYmal, le pied a contourné une boîte en carton alors que la commande la traversait (répété cinq fois), ainsi qu'une poubelle métallique ronde absente de l'entraînement.
• Interrupteur de contact sur le matériel : avec l'interrupteur à 1, le robot a renversé l'obstacle en le poussant pour atteindre la commande, avec une erreur de suivi finale de 0,073 m.

Limites

• Les auteurs indiquent que le contrôleur gère mal certains cas limites, notamment les obstacles situés directement sous la base et les espaces confinés absents de l'entraînement.
• Le balayage de hauteur 2,5D ne représente que les structures compatibles avec une carte 2,5D et plus grandes que le pas de la grille ; les auteurs plaident pour une représentation 3D.
• Les obstacles dynamiques arrivant de côté n'ont été évités que du côté droit du robot, et la vitesse de réaction est limitée par la fréquence de mise à jour de la carte d'élévation.
• En simulation, la politique s'est parfois retrouvée bloquée en raison de son champ de perception limité ou du manque d'espace pour faire pivoter la base.
• Éviter le contact avec le pied qui pédipule réduit légèrement la précision du suivi en espace libre (0,057 m contre 0,047 m).

Impact sur le domaine

Finaliste du Humanoids 2024 Best Interactive Presentation Award, avec 12 citations. L'article ne renvoie ni au code, ni aux politiques entraînées, ni aux données.

Résumé

La pédipulation exploite les pieds des robots à pattes pour la manipulation mobile, éliminant le besoin de bras robotiques dédiés. Si des travaux antérieurs ont présenté des capacités de pédipulation aveugles et spécifiques à une tâche, ils ne tiennent pas compte des obstacles statiques et dynamiques de l'environnement. Pour lever cette limite, nous présentons une approche fondée sur l'apprentissage par renforcement pour entraîner une politique corps entier consciente des obstacles, qui suit des commandes de position du pied tout en évitant simultanément les obstacles. Bien que la politique ne soit entraînée que dans cinq scénarios statiques différents en simulation, nous montrons qu'elle se généralise à des environnements inconnus comportant des nombres et des types d'obstacles différents. Nous analysons les performances de notre méthode par une série d'expériences en simulation et déployons avec succès la politique apprise sur le robot quadrupède ANYmal, démontrant sa capacité à suivre des commandes de pied tout en contournant des obstacles statiques et dynamiques.

Liens

• arXiv 2409.07195: https://arxiv.org/abs/2409.07195
• DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
• PDF: https://arxiv.org/pdf/2409.07195v1