Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

Auteurs: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Une seule politique de RL pour robots à pattes accepte des commandes de position et de force et estime la force externe à partir de l'historique articulaire, ce qui permet une commande compliante et une imitation tenant compte de la force sans capteurs d'effort.

Pourquoi c'est important

Le suivi de position, la commande en force, le suivi de force et la commande en impédance proviennent d'une seule politique par le choix des commandes, sans contrôleur par mode ni réentraînement. Comme la force est estimée à partir de la proprioception, des démonstrations tenant compte des contacts peuvent être collectées sur des robots à pattes dépourvus de capteur d'effort.

Problème

La loco-manipulation riche en contacts exige de modéliser ensemble la force de contact et la position du robot, mais les manipulateurs à pattes n'ont généralement pas de matériel de mesure d'effort. Les contrôleurs du corps entier par RL reposent surtout sur une commande en position précise, et les grands jeux de données d'imitation n'enregistrent que des trajectoires ; les auteurs montrent que de telles données de trajectoire seules ne suffisent pas, même pour une tâche de contact élémentaire comme essuyer un tableau.

Solution proposée

Les auteurs modélisent le comportement de l'effecteur terminal par une loi d'impédance simplifiée, x_target = x_cmd + (F_ext + F_cmd − F_react)/K, et celui de la base par la forme équivalente en vitesse, puis entraînent une seule politique PPO dans Isaac Gym sur des commandes de position, de vitesse et de force échantillonnées aléatoirement, plus des forces de perturbation externes allant jusqu'à 60 N. La politique encode 32 pas d'historique d'observations, utilise un estimateur d'état pour prédire la force externe, la position de l'effecteur terminal et la vitesse de la base, et produit des consignes de position articulaire pour un contrôleur PD. Pendant la téléopération, la force estimée est enregistrée avec les images RGB et l'état du robot, et une politique d'imitation fondée sur la diffusion apprend à produire à la fois les commandes de position et de force pour la politique de bas niveau.

Idées clés

• La commande en position, la commande en force, la commande en impédance, le suivi de force et la commande hybride position/force découlent toutes d'une même équation en fixant les commandes de position et de force ; aucun entraînement supplémentaire n'est nécessaire par mode.
• Un curriculum en deux étapes (d'abord l'atteinte du corps entier et la locomotion, ensuite des commandes de force et des perturbations aléatoires) a donné un entraînement plus stable qu'une étape unique.
• Des gains PD plus faibles que dans une commande du corps entier purement en position ont amélioré l'estimation de force, mais des gains trop faibles ont réduit la précision du suivi de position.
• Au niveau de la base, la force externe est compensée par la vitesse : un humanoïde G1 poussé à l'encontre de sa commande de vitesse s'arrête et se penche, et le B2 avance lorsqu'il reçoit un coup de pied avec des commandes nulles.
• La force estimée aide surtout là où la vision est peu informative, comme pour un placard à ouverture par pression avec une course de 3 mm ou une façade de tiroir qui devient occultée pendant la tâche.

Principaux résultats

• Imitation tenant compte de la force contre le même pipeline sans force (50 essais par tâche, Table A.3) : wipe-blackboard 0,58 contre 0,22, open-cabinet 0,70 contre 0,36, close-cabinet 0,72 contre 0,30, open-drawer-occlusion 0,76 contre 0,30, soit une réussite supérieure d'environ 39,5 % en moyenne.
• Le résumé et la Section 4.2 attribuent le gain de 39,5 % à quatre tâches ; la liste des contributions de l'introduction parle de trois tâches.
• Simulation : l'erreur de suivi de l'effecteur terminal reste le plus souvent inférieure à 0,1 m, avec ou sans commandes de force correspondantes, et l'erreur d'estimation de la position de l'effecteur terminal reste inférieure à 0,05 m sur tous les axes.
• Commande en force sur robot réel de 0 N à 60 N, mesurée avec un dynamomètre en cinq positions de l'effecteur terminal : erreur moyenne inférieure à 10 N ; estimation de force sur six niveaux : erreur de 5–10 N. Les axes Y et Z n'ont été testés que jusqu'à 40 N en raison des limites matérielles de l'Unitree Z1.
• Avec un haltère de 2,5 kg sur l'effecteur terminal, une commande de force de 25 N vers le haut le maintient en place ; sans cette commande, l'effecteur terminal descend.
• Démonstrations : 50 trajectoires pour wipe-blackboard (30k pas d'entraînement) et 30 épisodes pour chaque tâche de placard et de tiroir (20k pas).

Limites

• La précision de l'estimation de force se dégrade lors d'interactions à haute fréquence et aux limites de l'espace de travail du robot.
• Un écart sim-to-real subsiste dans la précision de force selon les axes, en particulier Y, que les auteurs attribuent à des inadéquations de la dynamique des actionneurs et de la modélisation des contacts.
• La force est estimée en un seul point d'interaction, et l'effecteur terminal et la base sont traités indépendamment ; l'interaction en force multipoint et du corps entier est laissée à des travaux futurs.
• Le modèle d'impédance omet les termes d'amortissement et d'inertie, ce qui convient aux tâches quasi statiques comme l'essuyage ou le tir à la corde ; des compétences dynamiques nécessiteraient des fréquences de commande plus élevées et des termes de vitesse et d'accélération.
• La collecte de données par téléopération avec la manette sans fil du B2 était lente, environ 20 s par essai d'essuyage et 10 s par essai de placard.

Impact sur le domaine

L'article a reçu le CoRL 2025 Best Paper Award et compte 35 citations. Il renvoie à un site web de projet, unified-force.github.io ; le texte de l'article n'indique pas de publication du code.

Résumé

La loco-manipulation robotique implique souvent des interactions riches en contacts avec l'environnement, qui exigent de modéliser conjointement la force de contact et la position du robot. Cependant, les politiques visuo-motrices récentes se concentrent souvent uniquement sur l'apprentissage de la commande en position ou en force, en négligeant leur apprentissage conjoint. Nous proposons la première politique unifiée pour robots à pattes qui modélise conjointement la commande en force et en position, apprise sans recourir à des capteurs d'effort. En simulant diverses combinaisons de commandes de position et de force ainsi que des forces de perturbation externes, nous utilisons l'apprentissage par renforcement pour apprendre une politique qui estime les forces à partir des états passés du robot et les compense par des ajustements de position et de vitesse. Cette politique permet un large éventail de comportements de manipulation sous des entrées de force et de position variables, notamment le suivi de position, l'application de force, le suivi de force et les interactions compliantes. De plus, nous démontrons que la politique apprise améliore les pipelines d'apprentissage par imitation fondés sur des trajectoires en intégrant des informations de contact essentielles grâce à son module d'estimation de force, avec des taux de réussite supérieurs d'environ ∼39,5 % sur quatre tâches de manipulation difficiles riches en contacts par rapport à des politiques de commande en position. Des expériences sur un manipulateur quadrupède et sur un robot humanoïde valident la polyvalence et la robustesse de la politique proposée dans des scénarios variés.

Liens

• arXiv 2505.20829: https://arxiv.org/abs/2505.20829
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
• Page du projet: https://unified-force.github.io/