Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

Auteurs: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Les démonstrations générées par RRT ont une forte entropie d'action qui nuit au behavior cloning ; des données de planificateur plus cohérentes entraînent des politiques de diffusion pour des tâches riches en contacts qui se transfèrent zero-shot au matériel.

Pourquoi c'est important

L'article montre que la conception du planificateur, et pas seulement la quantité de données, détermine si le behavior cloning à partir de démonstrations planifiées fonctionne : des données à plus faible entropie ont battu les données RRT probabilistiquement complètes, même si RRT couvrait légèrement mieux les états. Il offre un moyen d'obtenir des données d'entraînement pour des tâches impliquant des contacts du bras entier et une coordination de plusieurs doigts, que les interfaces de téléopération actuelles ne permettent pas facilement de démontrer.

Problème

Le behavior cloning a surtout fonctionné là où des humains peuvent fournir des démonstrations par téléopération, mais les interfaces de téléopération courantes ne suivent que les effecteurs terminaux, si bien que les démonstrations impliquant un contact du bras entier ou une coordination de plusieurs doigts sont difficiles à collecter. L'apprentissage par renforcement comme source de données traite les contraintes comme des pénalités de récompense, ce qui complique la conception de la récompense et le transfert sim-to-real. L'article se demande comment des planificateurs de contacts fondés sur des modèles devraient générer des données d'entraînement pour de telles tâches.

Solution proposée

Un planificateur utilisant un modèle de contact lissé et quasi dynamique propose un plan, qui est réexécuté par segments dans un simulateur physique sans lissage des contacts pour produire des démonstrations état-action ; les états atteints sont ensuite réétiquetés comme objectifs (hindsight goal relabelling). Une politique de diffusion conditionnée par l'objectif (U-Net 1D avec conditionnement FiLM) est entraînée sur ces données. Le planificateur est modifié pour la cohérence : une recherche gloutonne pour la tâche bimanuelle, et une feuille de route probabiliste éparse sur les 24 orientations canoniques du cube, avec des primitives fixes et des prises précalculées, pour la tâche en main.

Idées clés

• RRT échantillonne des sous-objectifs à chaque expansion de l'arbre, ce qui produit des démonstrations à forte entropie d'action dont il est difficile d'apprendre, surtout avec peu de données.
• Une meilleure couverture des états n'a pas donné de meilleures politiques : les données RRT couvraient légèrement plus d'états mais ont entraîné des politiques nettement moins bonnes que les données du planificateur glouton.
• Le réétiquetage rétrospectif des objectifs (hindsight goal relabelling) transforme des démonstrations sous-optimales ou échouées en paires d'entraînement valides pour les états effectivement atteints.
• Pour la tâche du cube, un hybride associant une politique principale et une politique d'ajustement final compense le déséquilibre des données et a augmenté la réussite simulée d'environ 10 % par rapport à une politique unifiée.
• De longs horizons d'action (40 et 60 pas) ont été utilisés car des horizons courts donnaient des mouvements saccadés dus aux basculements entre modes d'action.

Principaux résultats

• IiwaBimanual en simulation (100 positions initiales) : les données du planificateur glouton atteignent 99 % de réussite avec 100 démonstrations contre 44 % pour les données Contact-RRT ; avec 500, 1 000 et 5 000 démonstrations, on obtient 98 %, 99 % et 100 % contre 63 %, 88 % et 84 %.
• Simulation, 100 poses initiales : AllegroHand-Easy 82 % et AllegroHand-Hard 68 % avec la politique hybride, contre 74 % et 57 % pour une politique unifiée ; IiwaBimanual 99 %.
• AllegroHand sur matériel (politique hybride) : 15 essais réussis sur 24 pour chaque variante (62,5 %), avec des erreurs d'orientation sur les essais réussis de 13,7 ± 5,9° (Easy) et 15,5 ± 5,2° (Hard).
• IiwaBimanual sur matériel : 18 essais réussis sur 20 (90 %) ; les essais échoués se sont terminés avec une erreur d'orientation d'environ 15°, juste au-dessus du seuil de 0,2 rad (11,5°).
• Le transfert s'est fait zero-shot malgré l'écart de modèle (objet réel de 1,25 kg et 0,59 m de diamètre contre 1,0 kg et 0,6 m en simulation) et sans randomisation de domaine.

Limites

• La politique ne réagit souvent pas aux états hors distribution absents des données d'entraînement, conséquence des primitives précalculées ; cela arrive plus souvent sur le matériel.
• Une correction de type DAgger est difficile à appliquer car le planificateur ne peut pas trouver de solutions à partir de configurations arbitraires du système.
• La politique IiwaBimanual oscille parfois entre rotation horaire et antihoraire, si bien qu'elle prend souvent plus de temps que nécessaire ; la politique AllegroHand utilise parfois des séquences de primitives plus longues que nécessaire.
• Le meilleur ratio de mélange de données pour une politique AllegroHand unifiée reste ouvert, et l'initialisation de l'inférence avec la prédiction d'action précédente pour réduire les à-coups est laissée à des travaux futurs.
• Aucune randomisation de domaine de la géométrie ou du frottement de l'objet ou du robot n'a été utilisée pendant l'entraînement ou la génération de données.

Impact sur le domaine

L'article a remporté le RA-L Best Paper Award (répertorié comme RA-L 2026) et compte 23 citations. Il publie une vidéo des expériences sur matériel (https://youtu.be/CxgjJmiiEhI) ; l'article ne mentionne aucune publication de code ou de jeu de données.

Résumé

L'immense succès du behavior cloning (BC) en manipulation robotique s'est largement limité aux tâches pour lesquelles des démonstrations peuvent être collectées efficacement par téléopération humaine. Cependant, les démonstrations de tâches de manipulation riches en contacts qui exigent une coordination complexe de multiples contacts sont difficiles à collecter en raison des limites des interfaces de téléopération actuelles. Nous étudions comment tirer parti de la planification et de l'optimisation fondées sur des modèles pour générer des données d'entraînement destinées à des tâches de manipulation dextre riches en contacts. Notre analyse révèle que des planificateurs populaires fondés sur l'échantillonnage comme le rapidly exploring random tree (RRT), bien qu'efficaces pour la planification de mouvement, produisent des démonstrations à l'entropie défavorablement élevée. Cela motive des modifications de notre pipeline de génération de données qui privilégient la cohérence des démonstrations tout en maintenant la diversité des solutions. Combinée à une approche de BC conditionnée par l'objectif et fondée sur la diffusion, notre méthode permet un apprentissage de politique efficace et un transfert zero-shot vers le matériel pour deux tâches de manipulation difficiles riches en contacts.

Liens

• arXiv 2412.09743: https://arxiv.org/abs/2412.09743
• DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
• PDF: https://arxiv.org/pdf/2412.09743v1