Robust Ladder Climbing with a Quadrupedal Robot

Auteurs: Dylan Vogel, Robert Baines, Joseph Church, Julian Lotzer, Karl Werner, Marco Hutter · IROS 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des effecteurs terminaux en crochet et une politique de RL enseignant-élève permettent à un ANYmal D de gravir zero-shot des échelles inclinées de 70° à 90°, avec 90 % de réussite sur le matériel et une vitesse moyenne de 0,44 m/s.

Pourquoi c'est important

Les échelles sont courantes dans les infrastructures industrielles et les chutes d'échelle constituent un risque professionnel majeur (l'article cite une estimation de 500 000 blessures liées aux échelles par an aux États-Unis) ; un quadrupède capable de les gravir étend donc l'inspection à des endroits qu'il ne pouvait pas atteindre auparavant. Le travail montre aussi qu'une modification modeste de la forme du pied, entraînée conjointement avec la politique, fait la différence entre une montée fragile et une montée fiable sous bruit et perturbations.

Problème

Les quadrupèdes sont utilisés pour l'inspection industrielle mais ne peuvent pas gravir les échelles de manière fiable, ce qui les tient à l'écart des lieux dangereux et laisse ce travail aux humains. Leurs pieds sphériques ou plats ne peuvent pas s'ancrer sur les barreaux, la montée exige une coordination du corps entier sur de fortes inclinaisons, et les échelles varient en longueur, largeur, espacement des barreaux, forme des barreaux et inclinaison. Les travaux antérieurs de montée d'échelle robotique, principalement par des humanoïdes, ne traitaient que des échelles verticales sans perturbations et étaient très lents (26 mm/h pour un humanoïde, jusqu'à deux minutes par barreau pour les quadrupèdes).

Solution proposée

Les auteurs équipent un ANYmal D de quatre effecteurs terminaux en crochet (âmes en aluminium, coques imprimées en 3D, surfaces concaves qui se posent sur les barreaux ronds et saillies pour pousser et tirer) et entraînent une politique de suivi de commandes de position dans LeggedGym. Une politique enseignante entraînée avec Interior-point Policy Optimization utilise un état privilégié et un balayage de hauteur ; un élève doté d'un encodeur de croyance récurrent est distillé pour n'utiliser que la proprioception bruitée, l'historique de l'IMU ainsi qu'un état et une pose estimés de l'échelle. L'élève produit des consignes de position articulaire à 50 Hz, suivies par un contrôleur PD à 400 Hz, et est déployé zero-shot.

Idées clés

• La forme du pied compte en présence d'incertitude : sans bruit, les pieds sphériques et les pieds en crochet dépassent tous deux 99 % de réussite en simulation, mais avec bruit et poussées, les crochets atteignent 96 % contre 81 % pour les pieds sphériques.
• Les crochets permettent au robot de se suspendre en tension avec son centre de masse hors du triangle d'appui, en passant d'une poussée vers le bas sur un barreau à une traction lorsqu'il est perturbé.
• L'historique brut de l'IMU a remplacé la vitesse de la base fournie par l'estimateur d'état de l'ANYmal, qui présentait des erreurs linéaires allant jusqu'à 1 m/s pendant la montée.
• Abandonner les temps de commande échantillonnés au profit d'une récompense de suivi dense et d'épisodes allant jusqu'à 10 s a amélioré la réussite et produit un comportement émergent de nouvelle tentative après une glissade.
• Une seule politique gère à la fois la marche et la montée, et sa démarche émergente ressemble à la montée d'échelle humaine : les pattes arrière fournissent la poussée vers le haut tandis que les pattes avant stabilisent principalement.

Principaux résultats

• Simulation sur 50 configurations d'échelle avec 3 072 agents, du bruit et des poussées aléatoires : 96 % de réussite moyenne avec les crochets contre 81 % avec les pieds sphériques.
• Sur le matériel, zero-shot, sur une échelle de 1,8 m à cinq barreaux cylindriques : 4 montées sur 4 à 70°, 4 sur 4 à 80° et 2 sur 3 à 90°, rapportées comme 90 % au total.
• Vitesse de montée moyenne de 0,44 m/s (0,51 longueur de corps/s, écart type 0,16 m/s) sur dix configurations réussies, 232× plus rapide que le précédent quadrupède de l'état de l'art.
• Concordance sim-to-real à 80° : RMSE de la position et de l'orientation de la base de 11 cm et 0,18 rad sur l'ensemble de la trajectoire.
• La montée s'est poursuivie alors que le robot était tiré par une corde attachée à l'avant ou à l'arrière du châssis ou au pied avant gauche.
• L'entraînement a pris environ 4,5 jours sur une seule RTX 3090 (enseignant 15 000 époques, élève 5 000, 4 096 environnements parallèles) ; les corps de collision des crochets ont ralenti l'entraînement d'environ 30 %.

Limites

• Le troisième essai à 90° a échoué parce que des entretoises non modélisées sur la base du robot ont heurté le barreau supérieur ; les auteurs ont arrêté les essais à 90° en raison de cet écart sim-to-real.
• La pose et l'inclinaison de l'échelle proviennent d'un système de capture de mouvement et les autres paramètres de l'échelle sont mesurés à la main ; remplacer la capture de mouvement par une perception telle que des caméras de profondeur relève de travaux futurs.
• Seule la montée est démontrée ; la descente est indiquée comme travail futur.
• La conception du crochet a été choisie de manière heuristique et n'est pas optimisée.
• En simulation, des barreaux de 3,5 cm de rayon, plus grands que l'ouverture de 2,75 cm du crochet, ont entraîné une baisse régulière de la réussite aux inclinaisons plus fortes.

Impact sur le domaine

L'article a été finaliste d'un prix à IROS 2025 (session du programme WeAT1) et compte 25 citations. Ni l'article ni le site web du projet n'indiquent de publication du code ou des fichiers de conception des crochets.

Résumé

Les robots quadrupèdes se multiplient dans les environnements industriels, où ils transportent des ensembles de capteurs et servent de plateformes d'inspection autonomes. Malgré les avantages des robots à pattes sur leurs homologues à roues en terrain accidenté et irrégulier, ils ne sont toujours pas capables de franchir de manière fiable des éléments omniprésents des infrastructures industrielles : les échelles. L'incapacité à franchir des échelles empêche les quadrupèdes d'inspecter des lieux dangereux, expose les humains au danger et réduit la productivité des sites industriels. Dans cet article, nous apprenons la montée d'échelle par un quadrupède au moyen d'une politique de commande fondée sur l'apprentissage par renforcement et d'un effecteur terminal en crochet complémentaire. Nous évaluons la robustesse en simulation pour différentes inclinaisons d'échelle, géométries de barreaux et espacements entre barreaux. Sur le matériel, nous démontrons un transfert zero-shot avec un taux de réussite global de 90 % pour des angles d'échelle allant de 70° à 90°, des performances de montée constantes lors de perturbations non modélisées et des vitesses de montée 232× supérieures à l'état de l'art. Ce travail étend le champ des applications des robots quadrupèdes industriels au-delà de l'inspection sur terrain nominal, jusqu'aux éléments d'infrastructure difficiles de l'environnement, en soulignant les synergies entre la morphologie du robot et la politique de commande lors de l'exécution de compétences complexes. Plus d'informations sont disponibles sur le site web du projet : https://sites.google.com/leggedrobotics.com/climbingladders.

Liens

• arXiv 2409.17731: https://arxiv.org/abs/2409.17731
• DOI 10.1109/IROS60139.2025.11247166: https://doi.org/10.1109/IROS60139.2025.11247166
• PDF: https://arxiv.org/pdf/2409.17731v1
• Page du projet: https://sites.google.com/leggedrobotics.com/climbingladders