Loco-Manipulation

Aussi appelé: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
Catégorie: Control › Locomotion control
Mots-clés: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

L'utilisation coordonnée des capacités de locomotion et de manipulation d'un robot, où le déplacement du corps et la manipulation des objets sont planifiés et contrôlés ensemble plutôt que comme des étapes séparées.

Définition

Loco-manipulation : tâches dans lesquelles un robot doit déplacer son corps dans l'environnement et interagir physiquement avec des objets en même temps, ou selon une séquence étroitement couplée. Par exemple, un humanoïde qui porte une caisse en montant une rampe, un quadrupède muni d'un bras qui ouvre une porte et la franchit, ou un robot à pattes qui pousse un chariot. Le terme réunit locomotion et manipulation pour souligner que les deux ne peuvent pas être traitées indépendamment lorsque la base du robot est mobile et que ses contacts avec le monde changent sans cesse.

La manipulation mobile classique découple souvent le problème : conduire la base jusqu'à un endroit, s'arrêter, puis utiliser le bras. La loco-manipulation traite au contraire le corps entier comme un seul système. Les forces appliquées par les mains ou l'effecteur final influent sur l'équilibre, le placement des pieds et le mouvement de la base, et le mouvement de la base modifie à son tour ce que les bras peuvent atteindre. Un humanoïde qui soulève un objet lourd doit déplacer son centre de masse ; un quadrupède qui appuie sur un bouton avec une patte avant perd cette patte comme appui.

Les approches se répartissent en deux grandes familles. Les méthodes fondées sur des modèles utilisent le contrôle du corps entier et l'optimisation, comme la commande prédictive sur des séquences de contacts et la dynamique centroïdale, en résolvant ensemble les tâches des pieds, des mains et du torse sous des limites de frottement et de couple. Les méthodes fondées sur l'apprentissage entraînent des politiques par apprentissage par renforcement en simulation ou apprennent à partir de données de mouvement humain, en reciblant souvent des démonstrations humaines sur le corps du robot. Les systèmes hybrides combinent une politique de locomotion apprise avec des planificateurs ou des contrôleurs fondés sur des modèles pour les objectifs de manipulation.

Les principales difficultés sont la planification de séquences de contacts impliquant à la fois l'environnement et l'objet manipulé, la régulation des forces d'interaction tout en restant en équilibre, et l'obtention de suffisamment de données d'entraînement reflétant des interactions humain–objet réalistes. Les plateformes utilisées pour ces travaux comprennent des robots humanoïdes, des quadrupèdes équipés de bras et des robots à roues et pattes.

Pourquoi c'est important

De nombreuses tâches utiles à la maison, dans les entrepôts et sur les sites de catastrophe exigent qu'un robot porte, pousse, ouvre ou grimpe tout en se déplaçant, et pas seulement qu'il marche ou qu'il saisisse. La loco-manipulation est la capacité qui transforme les robots à pattes et humanoïdes, de plateformes mobiles, en machines capables d'effectuer un travail physique dans des espaces conçus pour les humains.

Applications principales

Robots humanoïdes qui portent, soulèvent et posent des objets en marchant
Quadrupèdes munis de bras qui ouvrent des portes, appuient sur des boutons et récupèrent des objets
Pousser et tirer des chariots, des diables et des objets lourds
Monter sur des meubles, des escaliers et d'autres éléments de la scène et interagir avec eux
Tâches d'inspection et d'intervention sur des sites industriels ou de catastrophe

En pratique

Une équipe qui travaille sur un humanoïde, ou sur un quadrupède muni d'un bras, part généralement d'un contrôleur de locomotion fiable puis lui ajoute des objectifs de manipulation, soit comme tâches supplémentaires dans un contrôleur du corps entier, soit comme commandes et récompenses supplémentaires pour une politique apprise. En simulation, elle randomise la masse des objets, le frottement et les positions de contact afin que la politique apprenne à rester en équilibre sous des charges inattendues. Des données de capture de mouvement humain ou de téléopération sont souvent reciblées sur le robot pour fournir des mouvements de référence pour des interactions comme ramasser des caisses ou s'asseoir sur un meuble. Sur le matériel, les ingénieurs testent en faisant varier la charge utile et surveillent les couples articulaires et les états de contact des pieds pour voir où le contrôleur arbitre entre équilibre et performance de la tâche.

Idées reçues

La loco-manipulation n'est qu'une base mobile avec un bras boulonné dessus — sa caractéristique déterminante est que le mouvement du corps et les forces d'interaction sont couplés et doivent être contrôlés ensemble
De bons contrôleurs de locomotion et de manipulation peuvent simplement être combinés — les forces issues de la manipulation perturbent l'équilibre et exigent un contrôle coordonné du corps entier ou un entraînement conjoint
Elle ne concerne que les humanoïdes — les quadrupèdes munis de bras, les robots à roues et pattes et les robots qui manipulent avec leurs pattes sont tous étudiés sous le même terme

Qui devrait le savoir

Chercheurs en robotique humanoïde et à pattes
Ingénieurs automaticiens travaillant sur le contrôle du corps entier
Équipes d'apprentissage robotique qui entraînent des politiques de manipulation mobile
Développeurs qui intègrent des bras sur des plateformes quadrupèdes

Technologies associées

Contrôle du corps entier (Whole-Body Control)
Commande prédictive (Model Predictive Control)
Apprentissage par renforcement (Reinforcement Learning)
Reciblage de mouvement (Motion Retargeting)
Dynamique centroïdale (Centroidal Dynamics)
Optimisation à contacts implicites (Contact-Implicit Optimization)

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation