RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Auteurs: Haochen Shi, Huazhe Xu, Samuel Clarke, Yunzhu Li, Jiajun Wu · CoRL 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

RoboCook modélise l'interaction pâte-outil avec des GNN entraînés sur 20 minutes de données réelles par outil, choisit les outils avec un classifieur PointNet++ et fait des raviolis à l'aide de 15 outils interchangeables.

Pourquoi c'est important

Le système montre un bras généraliste équipé d'un changeur d'outils accomplissant une séquence de raviolis en neuf étapes et se rétablissant lorsqu'une personne déforme, complète ou remplace la pâte en cours de tâche. Comme la politique ne nécessite qu'une passe avant par action, la planification prend quelques secondes au lieu des minutes nécessaires aux planificateurs par optimisation utilisant le même modèle appris.

Problème

Les tâches à long horizon sur des corps mous, comme faire un ravioli, exigent un choix discret de l'outil à utiliser et un choix continu de la façon de le déplacer, tandis que la pâte élastoplastique se déforme de manière difficile à modéliser. Les méthodes antérieures à dynamique apprise traitaient des tâches à court horizon avec un seul outil, et les simulateurs d'objets élastoplastiques présentent un écart simulation-réalité notable.

Solution proposée

Quatre caméras RGB-D fournissent un nuage de points fusionné à partir duquel la pâte est reconstruite sous forme de maillage étanche puis rééchantillonnée en 300 particules de surface, concaténées aux particules du maillage de l'outil. Un GNN entraîné sur environ 20 minutes de données d'exploration aléatoire par outil prédit la déformation de la pâte ; un classifieur PointNet++ propose les trois outils les plus probables pour le sous-objectif suivant ; et une politique PointNet++, entraînée sur des données synthétiques générées par le GNN, produit les paramètres d'action pour la préhension, le pressage et le roulage, tandis que les autres outils utilisent des planificateurs codés à la main. La boucle se ferme par un retour visuel après chaque action.

Idées clés

• Entraîner le GNN à ne prédire que deux pas en avant a suffi pour obtenir des prédictions précises sur 15 pas à l'inférence.
• Une politique entraînée hors ligne sur des rollouts GNN synthétiques couvre tout l'espace d'actions et a surpassé des planificateurs en ligne (descente de gradient, CEM et RL) utilisant les mêmes GNN et le même classifieur d'outils.
• Des espaces d'actions propres à chaque outil, de deux à quatre paramètres, dérivés de l'espace 6-DoF de l'effecteur terminal en supprimant les degrés de liberté redondants, gardent la planification traitable.
• Un modèle de dynamique entraîné uniquement sur une pâte de farine, d'eau et de sel a formé une lettre K dans de la Play-Doh, de l'argile autodurcissante et de la mousse de modelage sans réentraînement.
• Un classifieur d'outils fondé sur PointNet a mieux généralisé qu'un classifieur fondé sur ResNet, ce que les auteurs attribuent à sa capacité à encoder la profondeur.

Principaux résultats

• Façonnage de lettres (R, O, B, C, K) : 100 sujets humains ont reconnu les lettres de RoboCook avec une précision de 0,90 ± 0,11, contre 0,54 (RoboCraft), 0,52 (CEM+GNN), 0,48 (CEM+MPM) et 0,17 (RL+GNN).
• Métriques sur nuages de points : distance de Chamfer de 0,0062 ± 0,0007 et Earth Mover's distance de 0,0042 ± 0,0006, les plus faibles des cinq méthodes.
• Temps de planification de 9,3 ± 1,5 s contre 613,7 s (RoboCraft), 756,0 s (CEM+GNN), 1486,7 s (CEM+MPM) et 1867,9 s (RL+GNN) ; la chaîne complète des raviolis demande environ 10 s de planification.
• Le classifieur d'outils a atteint une précision par instance de 0,996 sur une partition de test de ses données d'entraînement.
• Cinq sujets humains utilisant les mêmes outils ont fait nettement moins bien que RoboCook lorsqu'ils choisissaient eux-mêmes les outils, et aussi bien ou moins bien lorsqu'on leur donnait la séquence d'outils et les sous-objectifs.

Limites

• Selon les auteurs : la pâte colle parfois à l'outil, et un système automatique de correction d'erreurs serait nécessaire.
• Selon les auteurs : le système s'appuie sur des connaissances humaines a priori pour l'espace d'actions de chaque outil.
• Selon les auteurs : ce sont des humains qui définissent les sous-objectifs ; pour s'en passer, il faudrait une abstraction temporelle de plus haut niveau et une planification au niveau de la tâche.
• Selon les auteurs : les câbles et les tissus nécessiteraient une estimation de topologie supplémentaire.
• La dynamique et les politiques apprises ne couvrent que les pinces, rouleaux, presses et emporte-pièces de poinçonnage ; le couteau, le découpoir, le poussoir et les spatules utilisent des planificateurs codés à la main, et l'action du crochet est précodée.

Impact sur le domaine

Lauréat du CoRL 2023 Best Systems Paper Award ; cité 137 fois (nombre tel qu'indiqué). La page officielle du projet renvoie au dépôt de code de RoboCook et à un dossier de données.

Résumé

Les humains excellent dans les tâches complexes de manipulation de corps mous à long horizon grâce à une utilisation flexible des outils : faire du pain nécessite un couteau pour trancher la pâte et un rouleau à pâtisserie pour l'aplatir. Souvent considérée comme une caractéristique de la cognition humaine, l'utilisation d'outils par des robots autonomes reste limitée en raison des difficultés à comprendre les interactions outil-objet. Nous développons ici un système robotique intelligent, RoboCook, qui perçoit, modélise et manipule des objets élastoplastiques avec divers outils. RoboCook utilise des représentations de scène sous forme de nuages de points, modélise les interactions outil-objet avec des Graph Neural Networks (GNNs) et combine la classification d'outils avec l'apprentissage auto-supervisé de politiques pour élaborer des plans de manipulation. Nous montrons qu'à partir de seulement 20 minutes de données d'interaction réelles par outil, un bras robotique généraliste peut apprendre des tâches complexes de manipulation d'objets mous à long horizon, comme faire des raviolis et des biscuits en forme de lettres de l'alphabet. Des évaluations approfondies montrent que RoboCook surpasse nettement les approches de l'état de l'art, fait preuve de robustesse face à de fortes perturbations externes et démontre une capacité d'adaptation à différents matériaux.

Liens

• arXiv 2306.14447: https://arxiv.org/abs/2306.14447
• DOI 10.48550/arXiv.2306.14447: https://doi.org/10.48550/arXiv.2306.14447
• PDF: https://proceedings.mlr.press/v229/shi23a/shi23a.pdf
• Code: https://github.com/hshi74/robocook
• Page du projet: https://hshi74.github.io/robocook