LocoFormer: Generalist Locomotion via Long-context Adaptation

Auteurs: Min Liu, Deepak Pathak, Ananye Agarwal · CoRL 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

LocoFormer entraîne par RL une seule politique Transformer-XL à long contexte sur environ 100k robots générés procéduralement ; elle commande des robots inédits en zero-shot et s'améliore d'un essai à l'autre.

Pourquoi c'est important

Un modèle unique qui s'adapte en contexte pourrait supprimer le réglage par robot et l'identification de système, et permettre à un robot endommagé de continuer à se déplacer. Lors d'essais réels, les mêmes poids ont piloté un Unitree G1, H1, Go2 et Go2-W, y compris le Go2 marchant sur ses deux pattes arrière, sans réentraînement.

Problème

Les contrôleurs de locomotion sont généralement entraînés pour un seul robot avec une randomisation de domaine étroite et seulement quelques centaines de millisecondes d'historique. De telles politiques ne se transfèrent pas à de nouveaux corps, échouent face à de grands changements comme des moteurs grillés ou des jambes cassées, et exigent souvent une identification de système minutieuse pour chaque robot.

Solution proposée

Les auteurs génèrent procéduralement des bipèdes et des quadrupèdes, avec et sans roues, randomisent agressivement leur cinématique et leur dynamique, et entraînent avec PPO en simulation en utilisant un espace articulaire unifié pour les observations et les actions. La politique est un Transformer-XL dont la récurrence au niveau des segments étend la mémoire jusqu'à 896 pas (environ 18 s à 50 Hz) par-delà les frontières entre essais, et la récompense est maximisée sur plusieurs essais au sein d'un même épisode. Un cache KV (KV-cache) maintient un coût d'inférence linéaire dans le temps.

Idées clés

• Une large distribution de tâches exige un long contexte : les politiques à historique court ne peuvent pas identifier le robot assez bien pour s'adapter.
• Une mémoire qui couvre les frontières entre épisodes permet à la politique d'apprendre de chutes antérieures et de mieux faire lors des essais suivants.
• Les représentations internes de différentes variantes d'humanoïdes commencent par être similaires puis se séparent en groupes distincts en environ 5 secondes, sans aucune entrée explicite de morphologie.
• L'architecture compte : une politique GRU entraînée de la même manière obtient en moyenne 0,37, contre 0,96 en zero-shot pour la politique Transformer-XL.
• L'entraînement a demandé 500 fois le calcul d'une politique spécialiste mais a couvert 100 000 robots, soit environ 0,005 jour par robot contre 1 jour pour un spécialiste.

Principaux résultats

• Sur 10 robots inédits en simulation (1 000 environnements chacun), le déplacement normalisé vers le but atteint en moyenne 0,96 en zero-shot et 0,98 après 5 s d'adaptation, contre 0,99 pour des politiques expertes par robot, 0,78 pour un Transformer conditionné par la morphologie et 0,37 pour un GRU.
• Sur le LimX Dynamics TRON1, un bipède sans articulations de cheville, 5 s d'adaptation font passer le score de 0,87 à 0,96.
• Déploiement zero-shot sur robots réels Unitree G1, H1, Go2 et Go2-W, le Go2 et le Go2-W étant aussi utilisés comme bipèdes sur leurs pattes arrière.
• Avec un genou bloqué sur le Go2, la politique reporte le poids sur trois pattes et marche après 2–3 s ; avec les parties inférieures des pattes sectionnées, elle marche sur les genoux après 7–8 s. Aucun de ces cas ne figurait à l'entraînement.
• Sur le Go2-W, lorsque les roues sont bloquées par logiciel, la politique passe à une allure de marche, puis revient au roulement quand elles sont débloquées.
• Avec une randomisation de domaine doublée au-delà des plages d'entraînement, la survie sur des rollouts de 6 secondes s'améliore avec un temps d'adaptation plus long pour les quatre types de morphologie.

Limites

• L'entraînement est très gourmand en ressources par rapport à une politique spécialiste ; les auteurs notent que des améliorations algorithmiques du RL massivement parallèle pourraient être possibles.
• L'espace de tâches généré procéduralement est conçu à la main et peut être difficile à concevoir en général ; les auteurs suggèrent une génération automatique de tâches à partir de LLM ou d'autres sources à l'échelle du web.
• La génération procédurale ne couvre pas toutes les conceptions réelles, par ex. les angles anhédraux du Berkeley Humanoid dans les articulations de roulis et de lacet de la hanche, ou les axes articulaires du G1 décalés le long de l'axe x.
• Dans des configurations très instables, les premiers essais peuvent échouer : utilisé comme bipède sans moteur de cheville, le robot est tombé au premier essai et n'a marché de façon stable qu'à partir du troisième.
• Seule la locomotion est démontrée ; l'extension de la recette à d'autres compétences est proposée mais non testée.

Impact sur le domaine

Finaliste des prix CoRL 2025 Best Paper et Best Student Paper, avec 39 citations. L'article renvoie vers des vidéos sur generalist-locomotion.github.io ; il ne mentionne pas de publication du code ou du modèle.

Résumé

Les contrôleurs de locomotion modernes sont réglés manuellement pour des incarnations spécifiques. Nous présentons LocoFormer, un modèle de locomotion généraliste omni-corps (omni-bodied) capable de commander des robots à pattes et à roues jamais vus auparavant, même sans connaissance précise de leur cinématique. LocoFormer est capable de s'adapter aux changements de morphologie et de dynamique au moment du test. Nous constatons que deux choix clés permettent l'adaptation. Premièrement, nous entraînons du RL à très grande échelle sur des robots générés procéduralement avec une randomisation de domaine agressive. Deuxièmement, contrairement aux politiques antérieures, myopes du fait de courtes longueurs de contexte, nous étendons le contexte de plusieurs ordres de grandeur afin qu'il couvre les frontières entre épisodes. Nous déployons le même LocoFormer sur des robots variés et montrons une commande robuste même face à de fortes perturbations comme un changement de poids ou des pannes de moteur. Dans des scénarios extrêmes, nous observons une adaptation émergente d'un épisode à l'autre : LocoFormer apprend des chutes des premiers épisodes pour améliorer ses stratégies de commande dans les suivants. Nous pensons que cette recette simple mais générale pourra à l'avenir servir à entraîner des modèles de fondation pour d'autres compétences robotiques. Vidéos sur http://generalist-locomotion.github.io.

Liens

• arXiv 2509.23745: https://arxiv.org/abs/2509.23745
• DOI 10.48550/arXiv.2509.23745: https://doi.org/10.48550/arXiv.2509.23745
• PDF: https://arxiv.org/pdf/2509.23745v1
• Page du projet: https://generalist-locomotion.github.io/