RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

Auteurs: Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski · Humanoids 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

RoPotter apprend à un robot à façonner de l'argile sur un tour de potier en deux types de bols à partir de 40 démonstrations chacun, en utilisant une coupe 2D de l'argile et une reconstruction par maillage des points masqués.

Pourquoi c'est important

Il définit une tâche à long horizon de manipulation continue d'objets déformables volumiques avec un simple doigt rigide sans degré de liberté, et montre que des a priori de tâche peu coûteux (symétrie et rigidité locale) peuvent remplacer des modèles dynamiques appris. Son évaluation, qui compare les bols produits aux bols démontrés par la distance de Chamfer et la similarité CLIP, est une approche praticable pour les tâches sans étiquette de réussite claire.

Problème

Les objets déformables volumiques comme l'argile sont difficiles à modéliser : les modèles dynamiques appris exigent de nombreux échantillons et se heurtent à un grand écart sim-to-real au contact, si bien que les travaux antérieurs sur l'argile utilisaient des actions discrètes et propres à la tâche, avec une vue dégagée de l'objet entre deux actions. Sur un tour de potier, l'argile se déforme continûment sous le contact et est en partie masquée par le doigt du robot, de sorte qu'aucune de ces approches ne convient.

Solution proposée

RoPotter utilise des a priori structurels issus de la tâche de poterie. Comme le tour rend l'argile radialement symétrique, RoPotter-2D représente l'argile par une coupe formée des points situés à moins de 5 mm d'un plan passant par son centre de masse, tandis que RoPotter-Mesh ajuste un maillage à la coupe initiale, repousse les sommets hors du doigt, déplace les sommets visibles vers les points observés et applique une déformation As-Rigid-As-Possible (ARAP) pour estimer l'argile masquée. Une politique de diffusion fondée sur 3D Diffusion Policy (DP3), avec une variante à encodeur 2D, est entraînée sur ces états à partir de démonstrations téléopérées.

Idées clés

• La symétrie radiale sur le tour permet de réduire l'état 3D de l'argile à une coupe 2D qui capture encore le diamètre, la hauteur et l'épaisseur de paroi.
• Gérer le contact du doigt et imposer une rigidité locale avec ARAP reconstitue l'argile masquée derrière le doigt ; l'ajout de l'étape ARAP a réduit la distance de Chamfer de 66,3 %.
• Comme le diamètre d'ouverture dépend de la masse d'argile, la politique doit adapter la phase de montée des parois à l'état observé ; la référence DP3 s'adaptait le moins, faisant des bols trop hauts avec plus d'argile et trop bas avec moins.
• Les bols démontrés eux-mêmes varient d'environ 2,0 mm, ce qui borne la précision avec laquelle une politique quelconque peut les reproduire en distance de Chamfer.

Principaux résultats

• RoPotter-Mesh a produit une erreur de forme finale inférieure de 44,4 % à celle de la référence DP3 sur la tâche du bol large avec 250 g d'argile (distance de Chamfer de 2,75 mm contre 4,95 mm).
• Ablation de la reconstruction par maillage (distance de Chamfer sur la coupe / le nuage de points complet) : méthode complète 1,50 / 2,58 mm ; sans ARAP 4,45 / 7,74 mm ; sans gestion du contact 15,41 / 17,01 mm ; référence observée 0,0 / 2,46 mm.
• Pour toutes les tâches avec 250 g ou 350 g d'argile, la distribution des distances de Chamfer aux bols démontrés était plus basse pour les deux politiques proposées que pour la référence.
• DP3 n'était le meilleur que sur le bol haut avec 350 g (1,96 mm), où RoPotter-2D restait aussi sous 2,0 mm (1,99 mm) ; DP3 a échoué sur un essai de bol haut avec 300 g.
• La similarité CLIP avec les bols démontrés allait de 0,940 à 0,974 selon les méthodes et concordait avec la métrique géométrique.

Limites

• Les auteurs indiquent que RoPotter-Mesh repose sur un maillage bien initialisé et sur des actions du robot cohérentes et observées avec précision, hypothèses valables dans leur dispositif contrôlé et structuré, mais pas en général.
• Les politiques ne sont pas conditionnées par un but ; chaque forme de bol est apprise à partir de ses propres démonstrations, et la définition d'une représentation de but utile est laissée à des travaux futurs.
• La tâche n'a pas de critère de réussite clair, et les auteurs notent que la distance de Chamfer est biaisée par les points aberrants et lisse les détails de haute fréquence.
• La méthode suppose une symétrie radiale et une argile quasi statique, en ignorant les effets dynamiques.
• Les résultats de la politique RoPotter-Mesh ne sont rapportés que pour le bol large ; la comparaison sur le bol haut porte sur DP3 et RoPotter-2D.

Impact sur le domaine

Finaliste du Humanoids 2024 Best Oral Presentation Award et cité 11 fois. Les auteurs mettent à disposition des documents complémentaires, des données d'expérience et des visualisations sur robot-pottery.github.io.

Résumé

Les humains sont capables de manipuler continûment une grande variété d'objets déformables pour leur donner des formes complexes. Cela est rendu possible par notre compréhension intuitive des propriétés du matériau et de la mécanique de l'objet, qui nous permet de raisonner sur l'état des objets même lorsque la perception visuelle est occultée. Ces capacités nous permettent d'accomplir des tâches diverses, de la cuisine avec de la pâte à l'expression de soi par la poterie. Cependant, développer des systèmes robotiques capables d'accomplir de façon robuste des tâches similaires reste difficile, car les méthodes actuelles peinent à modéliser efficacement les objets déformables volumiques et à raisonner sur le comportement complexe qu'ils présentent généralement. Pour étudier les systèmes et algorithmes robotiques capables de déformer des objets volumiques, nous introduisons une nouvelle tâche robotique consistant à déformer continûment de l'argile sur un tour de potier. Nous proposons une chaîne de perception et d'apprentissage des gestes de poterie, appelée RoPotter, dans laquelle nous montrons que des a priori structurels propres à la poterie peuvent être exploités pour simplifier l'apprentissage des gestes de poterie. Nous pouvons en effet projeter la section de l'argile sur un plan pour représenter l'état de l'argile, ce qui réduit la dimensionnalité. Nous présentons également une méthode fondée sur un maillage pour reconstituer l'état de l'argile occultée, en vue d'agents robotiques capables de déformer continûment l'argile. Nos expériences montrent qu'en utilisant la représentation réduite avec des a priori structurels fondés sur le comportement de déformation de l'argile, RoPotter peut accomplir la tâche de poterie à long horizon avec une erreur de forme finale inférieure de 44,4 % à celle des références de l'état de l'art.

Liens

• arXiv 2408.02184: https://arxiv.org/abs/2408.02184
• DOI 10.1109/Humanoids58906.2024.10769600: https://doi.org/10.1109/Humanoids58906.2024.10769600
• PDF: https://arxiv.org/pdf/2408.02184v1
• Page du projet: https://robot-pottery.github.io/