Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

Auteurs: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Lisser la dynamique de contact, par échantillonnage comme le fait le RL ou analytiquement avec une barrière logarithmique, donne des gradients utiles ; avec un modèle quasi dynamique convexe, RRT planifie alors des tâches de manipulation dextre en environ une minute.

Pourquoi c'est important

La méthode offre une alternative en ligne, fondée sur les modèles, à l'entraînement de politiques par apprentissage par renforcement pour les tâches riches en contacts : des plans pour la rotation en main, le placement d'un stylo, la saisie d'une assiette contre un mur et l'ouverture d'une porte sont produits en une minute environ sur un CPU. Les auteurs opposent cela aux outils de RL qui reposent sur des calculs hors ligne de plusieurs heures ou jours, et décrivent leur planificateur comme généralisable aux environnements et aux tâches.

Problème

La planification fondée sur les modèles à travers le contact se heurte à trois obstacles : le nombre de modes de contact explose (la manipulation en main en 3D peut en compter des billions), la dynamique de contact est raide et non lisse, si bien que les gradients explosent ou sautent, et le problème de planification est non convexe. L'apprentissage par renforcement traite la manipulation riche en contacts en échantillonnant et en moyennant les modes de contact, mais il repose sur des calculs hors ligne qui se mesurent en heures ou en jours. Les planificateurs par échantillonnage existants pour le contact énumèrent ou échantillonnent explicitement les modes de contact et passent mal à l'échelle avec le nombre de contacts.

Solution proposée

Les auteurs montrent d'abord que le lissage aléatoire (échantillonnage et moyenne, comme le fait le RL) et le lissage analytique calculent des modèles linéaires locaux du même substitut lisse, de manière équivalente pour des systèmes simples. Ils construisent ensuite CQDC, un modèle de contact convexe, quasi dynamique et différentiable, posé comme un programme conique du second ordre avec la relaxation du frottement d'Anitescu, dont les gradients proviennent des conditions KKT et qui est lissé analytiquement par une relaxation à barrière logarithmique. Enfin, ils exécutent RRT avec une métrique de distance de Mahalanobis locale et une étape d'extension construites à partir des linéarisations lissées, ajoutent une étape d'échantillonnage de contacts qui replace le robot en contact, et affinent le chemin obtenu par MPC itérative et raccourcissement.

Idées clés

• Le lissage aléatoire (utilisé par le RL) et le lissage analytique sont deux façons de calculer des modèles linéaires locaux de la même dynamique lissée ; ils sont équivalents pour des systèmes simples et ont donné des résultats similaires sur les exemples complexes.
• Le lissage analytique par relaxation à barrière logarithmique ne nécessite qu'une seule résolution par linéarisation, il s'est donc exécuté plus vite que le lissage aléatoire, qui moyenne 100 échantillons.
• Le modèle quasi dynamique supprime les vitesses et la dynamique transitoire, ce qui divise l'état par deux et autorise des pas de temps bien plus grands, de sorte que chaque linéarisation en dit davantage au planificateur sur le comportement à long terme.
• Une métrique de Mahalanobis locale construite à partir de linéarisations lissées permet à RRT de respecter l'atteignabilité par contact ; une métrique euclidienne pondérée uniforme globalement, réglée à la main, a donné de bien moins bons résultats.
• L'échantillonnage de contacts était indispensable pour les tâches qui exigent de repositionner le robot (poussée plane, main plane, rotation en main Allegro), mais pas pour la saisie de l'assiette ni le placement du stylo.

Principaux résultats

• MPC itérative, coût minimal sur 10 itérations et 5 essais : rotation en main Allegro 5,78 avec lissage analytique contre 44,68 avec les gradients exacts (non lissés) ; poussée plane 11,74 contre 31,64.
• Sur la tâche de main plane, qui ne traverse que peu de changements de mode de contact, les gradients exacts ont aussi donné de bons résultats (coût de 18,49 contre 26,55 en analytique et 17,87 en aléatoire du premier ordre).
• Avec 100 échantillons sur 32 threads, le lissage aléatoire était 2 à 3 fois plus lent que le lissage analytique en MPC itérative (rotation Allegro : 40,07 s contre 19,59 s).
• RRT sur 1 000 itérations avec lissage analytique a pris 3,25 s (poussée plane), 31,01 s (rotation Allegro), 24,84 s (placement du stylo), 12,42 s (ouverture de porte) et 117,16 s (saisie de l'assiette) ; le lissage aléatoire du premier ordre a pris de 7,50 s à 161,64 s.
• Dans chaque tâche RRT, l'utilisation de linéarisations exactes pour la métrique et l'extension a donné une distance au but et une couverture de l'espace bien moins bonnes que n'importe quel schéma de lissage.
• Toutes les expériences ont été exécutées sur un seul ordinateur de bureau équipé d'un CPU AMD Threadripper 2950 (16 cœurs, 32 threads) et de 32 GB de RAM.

Limites

• L'échantillonnage de contacts téléporte le robot d'une configuration à l'autre, ce qui n'est pas physique ; il ne fonctionne que lorsque l'objet reste en équilibre statique sans les doigts déplacés (par exemple une balle posée sur une paume tournée vers le haut), et non pour une main tournée vers le bas.
• De grandes étapes d'extension produisent des artefacts non physiques dus à la relaxation convexe du frottement de Coulomb d'Anitescu, si bien qu'une passe d'affinage par MPC itérative et raccourcissement est nécessaire pour obtenir des trajectoires physiquement réalistes.
• L'hypothèse quasi dynamique ne tient plus pour les comportements très dynamiques.
• La croissance de l'arbre peut encore se bloquer, formant des "balais" de nombreux nœuds enfants en échec issus d'un même parent.
• Tous les résultats de cette version sont obtenus en simulation (implémentée dans Drake) ; la planification en temps réel est citée comme travail futur.

Impact sur le domaine

L'article a reçu le T-RO 2024 King-Sun Fu Memorial Best Paper Award (mention honorable) et compte 210 citations. Il publie une vidéo des plans générés ; cette version ne donne aucun lien vers le code.

Résumé

Le succès empirique de l'apprentissage par renforcement (Reinforcement Learning, RL) dans le cadre de la manipulation riche en contacts laisse beaucoup à comprendre d'un point de vue fondé sur les modèles, où les principales difficultés sont souvent attribuées (i) à l'explosion du nombre de modes de contact, (ii) à une dynamique de contact raide et non lisse et aux gradients explosifs / discontinus qui en résultent, et (iii) à la non-convexité du problème de planification. La nature stochastique du RL traite (i) et (ii) en échantillonnant et en moyennant efficacement les modes de contact. Les méthodes fondées sur les modèles, quant à elles, ont abordé les mêmes défis en lissant analytiquement la dynamique de contact. Notre première contribution est d'établir l'équivalence théorique des deux méthodes pour des systèmes simples, et de fournir une équivalence qualitative et empirique sur plusieurs exemples complexes. Afin d'atténuer davantage (ii), notre deuxième contribution est une formulation convexe, différentiable et quasi dynamique de la dynamique de contact, qui se prête aux deux schémas de lissage et s'est révélée, lors d'expériences, très efficace pour la planification riche en contacts. Notre dernière contribution résout (iii) : nous montrons que les algorithmes classiques de planification de mouvement par échantillonnage peuvent être efficaces en planification globale lorsque les modes de contact sont abstraits par lissage. En appliquant notre méthode à un ensemble de tâches difficiles de manipulation riche en contacts, nous démontrons qu'une planification de mouvement efficace fondée sur les modèles peut obtenir des résultats comparables au RL avec beaucoup moins de calcul. Vidéo : https://youtu.be/12Ew4xC-VwA

Liens

• arXiv 2206.10787: https://arxiv.org/abs/2206.10787
• DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
• PDF: https://arxiv.org/pdf/2206.10787v1