Physically Consistent Humanoid Loco-Manipulation Using Latent Diffusion Models

Auteurs: Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv · Humanoids 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Des images générées d'une personne réalisant chaque sous-tâche fournissent des contacts main/pied et des poses de robot reciblées qui guident l'optimisation de trajectoire du corps entier à travers des tâches d'humanoïde à long horizon.

Pourquoi c'est important

Le pipeline ne nécessite ni heuristiques propres à la tâche ni jeux de données 3D d'interaction humain-objet : un plan textuel de haut niveau et des images des objets sont ses entrées. Sans les informations de contact et de configuration extraites, les auteurs rapportent que l'optimisation de trajectoire ne pouvait résoudre aucune des deux tâches de test ; les images générées fournissent donc le raisonnement à long horizon qui manque à l'optimisation locale.

Problème

Les humanoïdes sont des systèmes de grande dimension à la dynamique instable, et les tâches de loco-manipulation utiles exigent un raisonnement à long horizon auquel les méthodes de planification existantes ne passent pas à l'échelle. L'optimisation de trajectoire est locale et échoue sur de telles tâches sans guidage, tandis que les démonstrations téléopérées d'humanoïdes sont difficiles à collecter car le robot peut facilement tomber.

Solution proposée

À partir d'une liste ordonnée de courts prompts textuels et d'images RGB-D des objets, un modèle de diffusion latente (Flux) génère des images d'une personne en pied réalisant chaque sous-tâche. Les contacts des mains et des pieds sont transférés dans la scène 3D en combinant des correspondances sémantiques avec une recherche SVD et ICP fondée sur l'échantillonnage qui vérifie le recouvrement des nuages de points, et la pose de la personne (issue de WHAM) est reciblée vers une configuration de robot 35-D par cinématique inverse. Ces images clés entrent dans une optimisation de trajectoire du corps entier à dynamique centroïdale, à la fois comme termes de coût et comme initialisation de type sous-tâche.

Idées clés

• Des images 2D générées de personnes peuvent fournir à la fois des emplacements de contact et des configurations du corps entier, et les deux ensemble orientent l'optimisation de trajectoire locale vers de meilleurs minima locaux que les contacts seuls.
• La correspondance sémantique seule n'est pas fiable, car les objets générés diffèrent des objets réels par le point de vue, la forme et la texture ; noter les appariements candidats selon le recouvrement des nuages de points (SVD, puis ICP) corrige les contacts erronés.
• Les images clés fonctionnent le mieux à la fois comme termes de coût et comme initialisation de type sous-tâche ; les réglages qui incluent l'initialisation tendent à mieux converger et à moins s'interpénétrer.
• Ajouter à chaque prompt une description fixe des cheveux et des vêtements amène le modèle d'image à dessiner une personne en pied, ce qu'exigent l'extraction des contacts et celle de la pose.

Principaux résultats

• Avec un ensemble minimal de pénalités de collision, le pipeline complet reste sans collision sur toute la trajectoire dans les deux scénarios (S1 : aller chercher un panier sur une étagère en déplaçant une boîte et en montant dessus ; S2 : placer une boîte sur un chariot et le pousser), tandis qu'une référence fondée sur les seuls contacts s'interpénètre fortement tout du long (Fig. 5).
• Sans les informations de contact et de configuration extraites, l'optimisation de trajectoire ne pouvait résoudre aucune des deux tâches ; activer à la place toutes les contraintes de collision possibles la bloque dans des minima locaux.
• Dans le test S1 avec une boîte de 5,0 kg et un lacet initial de 0 rad, utiliser tous les composants des images clés donne une interpénétration nulle ; retirer n'importe quel composant empêche la convergence ou produit une forte interpénétration.
• Les ablations des images clés couvrent des masses de boîte de {2,5 ; 5,0} kg et des lacets initiaux de {0 ; 0,6 ; 1,2} rad pour S1, et {2,5 ; 5,0 ; 7,5} kg et {0 ; ±0,6 ; ±1,2} rad pour S2.
• Avec les pénalités de collision désactivées, le transfert de contacts tenant compte de la géométrie donne nettement moins d'interpénétration que le transfert qui l'ignore, dans les deux scénarios.
• La recherche de transformation rigide s'exécute sur 10 itérations, et en pratique la meilleure transformation est trouvée en 3.

Limites

• Validé uniquement en simulation (MuJoCo avec un modèle Unitree G1) ; les auteurs citent l'exécution sur un humanoïde réel comme travail futur.
• Suppose que le plan de haut niveau (prompts textuels ordonnés) est donné, ainsi que la position 3D cible et le lacet de l'objet pour les tâches de placement ; les auteurs prévoient de remplacer cela par un planificateur de tâches utilisant des modèles de langage multimodaux.
• Dans certains cas d'ablation, le réglage complet des images clés est légèrement moins bon que des réglages partiels, ce que les auteurs attribuent à des détails du solveur d'optimisation de trajectoire.
• Les paramètres intrinsèques de caméra des images générées sont fixés par essais et erreurs (résolution de l'image comme focale), et une heuristique projette les contacts sur la surface d'objet la plus proche pour éviter l'interpénétration.
• Les résultats sont donnés sous forme de courbes d'interpénétration pour deux scénarios ; l'article ne rapporte ni taux de réussite ni temps de planification.

Impact sur le domaine

L'article a été finaliste du Humanoids 2025 Best Oral Paper Award et compte 8 citations. L'article ne renvoie à aucun code, jeu de données ou page de projet ; il fait référence à une vidéo supplémentaire.

Résumé

Cet article exploite les capacités des modèles de diffusion latente (LDM) à générer des scènes RGB réalistes d'interaction humain-objet pour guider la planification de la loco-manipulation des humanoïdes. Pour ce faire, nous extrayons des images générées à la fois les emplacements de contact et les configurations du robot, qui sont ensuite utilisés dans une formulation d'optimisation de trajectoire (TO) du corps entier afin de générer des trajectoires physiquement cohérentes pour les humanoïdes. Nous validons notre pipeline complet en simulation pour différents scénarios de loco-manipulation à long horizon et effectuons une analyse approfondie du pipeline proposé d'extraction des contacts et des configurations du robot. Nos résultats montrent qu'en utilisant les informations extraites des LDM, nous pouvons générer des trajectoires physiquement cohérentes qui nécessitent un raisonnement à long horizon.

Liens

• arXiv 2504.16843: https://arxiv.org/abs/2504.16843
• DOI 10.1109/Humanoids65713.2025.11203092: https://doi.org/10.1109/Humanoids65713.2025.11203092
• PDF: https://arxiv.org/pdf/2504.16843v1