Predicting Object Interactions with Behavior Primitives: An Application in Stowing Tasks

Auteurs: Haonan Chen, Yilong Niu, Kaiwen Hong, Shuijing Liu, Yixuan Wang, Yunzhu Li, Katherine Driggs-Campbell · CoRL 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un GNN à particules prédit le mouvement des objets aux poses clés des primitives de comportement ; chercher les paramètres des primitives par rapport à 3-4 images clés tirées d'une démonstration permet à un bras de ranger des objets dans des étagères encombrées.

Pourquoi c'est important

Le réseau n'est interrogé qu'aux poses clés de chaque primitive, ce qui, selon les auteurs, réduit le nombre de passes avant et l'erreur de prédiction cumulée sur de longs horizons. Entraîné uniquement sur des objets simulés en forme de boîte, le système s'est transféré en zero-shot à un bras Kinova Gen3 réel et a géré des objets hors distribution comme une bouteille, une brosse adhésive anti-peluches et des articles lourds ou trapézoïdaux.

Problème

Ranger un objet dans une étagère encombrée suppose d'abord de faire de la place en poussant et en faisant glisser les objets déjà présents, ce qui implique, sur un long horizon, des contacts et des frottements entre plusieurs objets difficiles à modéliser. Les systèmes préprogrammés ne s'adaptent pas à de nouvelles dispositions d'étagère, les méthodes de manipulation au niveau des catégories exigent une collecte de données et un étiquetage humain coûteux, et l'apprentissage par renforcement sans modèle demande trop de temps d'entraînement pour apprendre de zéro des tâches à long horizon sur un robot réel.

Solution proposée

Chaque objet est modélisé par des particules uniformément réparties, et un graph neural network entraîné en simulation prédit la transformation rigide de chaque objet après une primitive de comportement (sweep, push ou transport) ; le graphe comprend des arêtes pince-objet, des arêtes vers les particules statiques de l'étagère et de la table, et une perte auxiliaire sur les positions prédites de la pince. À l'exécution, le random shooting échantillonne les paramètres de chaque primitive, le réseau prédit le résultat, et les paramètres dont les positions d'objets prédites sont les plus proches de l'image clé de la démonstration sont exécutés avec un Operational Space Controller.

Idées clés

• Représenter l'action du robot par des particules de pince dotées d'un mouvement planifié, et ajouter des arêtes entre les objets dynamiques et les particules statiques de l'étagère et de la table, améliore la prédiction par rapport à un GNN de type RoboCraft sur les primitives plus difficiles sweep et transport.
• Prédire l'état des objets uniquement aux poses clés des primitives, plutôt qu'à chaque pas de commande, réduit les passes avant et l'erreur accumulée sur les tâches à long horizon.
• Un modèle de dynamique appris combiné à une recherche a surpassé le RL sans modèle (SAC, PPO) et PPO avec un espace d'actions paramétré par primitives sur la même tâche de rangement à long horizon en simulation.
• Random Shooting, la Cross-Entropy Method et Gradient Descent ont donné des résultats similaires comme optimiseurs sur les paramètres des primitives.
• Un ensemble de 2 compétences (push et transport) a atteint le même taux de réussite réel de 95 % que l'ensemble de 3 compétences, ce que les auteurs attribuent au fait que le modèle capture les interactions entre l'objet tenu et les objets sur l'étagère.

Principaux résultats

• Monde réel, six configurations de 10 essais chacune : 95 % de réussite avec 3 compétences et 95 % avec 2 compétences, contre 18 % pour une heuristique réglée à la main sans prédiction de dynamique.
• RoboCraft comme dynamique apprise dans la même chaîne : la Table 3 rapporte une moyenne de 48 %, alors que ses six scores par configuration dans le même tableau (4, 7, 4, 6, 7 et 5 sur 10) totalisent 33/60, soit 55 %.
• Erreur de commande en simulation (MSE) : 0,905 mm pour la méthode, contre 22,925 mm pour PPO paramétré, 34,861 mm pour l'heuristique, 87,479 mm pour PPO et 265,411 mm pour SAC.
• Erreur de prédiction de la primitive transport : MSE 0,666 mm, EMD 31,232 mm et distance de Chamfer 38,068 mm, contre 1,091, 42,162 et 55,615 mm pour RoboCraft ; sur la primitive push, plus simple, RoboCraft a une MSE plus faible (0,216 contre 0,292 mm), à moins d'un écart-type.
• Objets déformables (annexe) : 6/10 avec 3 compétences et 4/10 avec 2 compétences, contre 2/10 pour RoboCraft et 0/10 pour l'heuristique.
• Données d'entraînement : 300 épisodes à paramètres aléatoires par primitive ; la précision de prédiction de push et sweep plafonne à environ 50 échantillons, et celle de transport à environ 140.

Limites

• Repose sur l'étiquetage manuel, par des humains, d'images clés ordonnées issues des démonstrations, ce qui, selon les auteurs, pourrait limiter le passage à l'échelle vers des scénarios plus grands et plus complexes.
• Les objets sont représentés par des nuages de points en forme de boîte à l'entraînement et à l'inférence, ce qui, selon les auteurs, peut ne pas refléter la géométrie réelle des objets, où les interactions et les contacts sont plus complexes.
• La perception en conditions réelles traite chaque objet comme un pavé et l'identifie par appariement SIFT avec des images latérales et de dessus capturées au préalable pour une base de données d'objets connus.
• La réussite baisse avec les objets déformables (au mieux 6/10).
• La bibliothèque de primitives (sweep, push, transport) est conçue à la main ; les auteurs citent la conception des primitives et la composition des compétences comme pistes de recherche ouvertes.

Impact sur le domaine

Finaliste du CoRL 2023 Best Paper / Best Student Paper Award et cité 32 fois. L'article apporte un benchmark de rangement pour la manipulation à long horizon construit dans robosuite et MuJoCo ; il ne donne aucun lien vers du code ou des données.

Résumé

Le rangement (stowing), c'est-à-dire la tâche consistant à placer des objets dans des étagères ou des bacs encombrés, est une tâche courante dans les entrepôts et les opérations de fabrication. Cependant, cette tâche est encore majoritairement réalisée par des opérateurs humains, car le rangement est difficile à automatiser en raison des interactions complexes entre plusieurs objets et de la nature à long horizon de la tâche. Les travaux antérieurs impliquent généralement une collecte de données importante et un étiquetage humain coûteux d'a priori sémantiques couvrant des catégories d'objets variées. Cet article présente une méthode pour apprendre une politique de rangement robotique généralisable à partir d'un modèle prédictif des interactions entre objets et d'une seule démonstration avec des primitives de comportement. Nous proposons un nouveau cadre qui utilise des Graph Neural Networks pour prédire les interactions entre objets dans l'espace des paramètres des primitives comportementales. Nous employons en outre une optimisation de trajectoire augmentée par primitives pour rechercher les paramètres d'une bibliothèque prédéfinie de primitives comportementales hétérogènes afin d'instancier l'action de commande. Notre cadre permet aux robots d'exécuter avec compétence des tâches de rangement à long horizon à partir de quelques images clés (3-4) issues d'une seule démonstration. Bien qu'entraîné uniquement en simulation, notre cadre fait preuve de remarquables capacités de généralisation. Il s'adapte efficacement à un large éventail de conditions réelles, notamment diverses largeurs d'étagère, des nombres d'objets variables et des objets aux attributs divers tels que la taille et la forme.

Liens

• arXiv 2309.16873: https://arxiv.org/abs/2309.16873
• DOI 10.48550/arXiv.2309.16873: https://doi.org/10.48550/arXiv.2309.16873
• PDF: https://arxiv.org/pdf/2309.16873v1