You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

Auteurs: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un espace de formes canonique entraîné uniquement en simulation transpose une vidéo de démonstration sur de nouveaux objets ; le clonage en boucle fermée avec suivi atteint 100 % pour la mise debout de piles et 82,9 % pour l'insertion d'engrenages à 0,5 mm.

Pourquoi c'est important

Une nouvelle compétence d'assemblage peut être enseignée avec une vidéo plus les modèles CAD des instances d'entraînement, sans données d'entraînement réelles ni annotation de points clés, et elle se transpose à de nouvelles instances achetées dans le commerce. La comparaison avec et sans suivi montre à quel point la rétroaction en boucle fermée sur la pose de l'objet compte pour l'insertion à tolérance serrée.

Problème

Les méthodes de manipulation au niveau de la catégorie qui transfèrent une compétence d'une instance d'objet à l'autre nécessitent généralement des points clés sémantiques spécifiés manuellement et une collecte coûteuse de données réelles, et elles traitent l'objet saisi comme fixé à la pince et s'exécutent en boucle ouverte. Cela ne tient plus dans des tâches à long horizon riches en contacts, comme l'insertion d'une pile contre un ressort, où la séquence d'actions intermédiaire compte et où l'objet bouge dans la main.

Solution proposée

Un NUNOCS Net (un réseau de type PointNet) entraîné uniquement sur des données synthétiques Blender projette un nuage de points partiel dans un espace canonique au niveau de la catégorie avec une échelle 3D non uniforme, ce qui donne une correspondance dense entre l'objet démontré et un nouvel objet. Une vidéo de démonstration RGBD est analysée avec le traqueur 6 DoF sans modèle BundleTrack pour en tirer une trajectoire de pose de l'objet par rapport au réceptacle, reprojetée sur le nouvel objet et exécutée comme un déplacement sans collision RRT* vers une pose clé à 5 cm du réceptacle, suivi d'un clonage de comportement au niveau de la catégorie (CatBC). CatBC suit la trajectoire cible avec des mises à jour articulaires fondées sur la jacobienne et une rétroaction du traqueur à 10 Hz, ancrée à un repère choisi par un mécanisme d'attention locale.

Idées clés

• Exprimer la démonstration comme la trajectoire de pose de l'objet par rapport au réceptacle sépare la compétence du démonstrateur (main humaine ou robot téléopéré) et de l'agencement de la scène.
• Le suivi en boucle fermée de l'objet tenu en main compte surtout dans les tâches riches en contacts : la réussite est passée de 37,78 % à 82,22 % pour l'assemblage de piles et de 42,9 % à 100 % pour l'insertion d'engrenages à la tolérance la plus lâche lorsque le suivi était activé.
• La correspondance 3D dense issue d'un espace canonique entraîné en simulation a été plus précise que des descripteurs denses 2D (DON) ou des points clés sémantiques (KPAM, KPAM 2.0) entraînés sur données réelles ; même sans suivi, elle a battu toutes les baselines.
• Diviser l'exécution en un transport sans collision et un clonage du dernier pouce permet au robot de gérer des obstacles absents de la démonstration et de ne reproduire que la partie de la vidéo qui décide de la réussite.
• Différentes stratégies peuvent être enseignées en refaisant une démonstration : une démonstration anchor-and-pivot a donné une meilleure réussite en insertion d'engrenages qu'une simple insertion par le dessus.

Principaux résultats

• Mise debout de piles (9 piles de test, 5 essais chacune) : 100 % pour la méthode complète, 80,0 % sans suivi et au plus 60,0 % pour les baselines (KPAM 2.0 avec clonage fondé sur la démonstration).
• Assemblage de piles contre un ressort : 82,22 % pour la méthode complète, 37,78 % sans suivi, au plus 24,44 % pour les baselines et 0 % pour KPAM, KPAM 2.0 et DON sans clonage.
• Insertion d'engrenages (7 engrenages de test) : 100 % à une tolérance de 5 mm (3 mm pour un engrenage), 82,9 % à 0,5 mm et 28,6 % à 0,1 mm ; la meilleure baseline a atteint 31,4 % à 5 mm, les six baselines ont toutes obtenu 0 % à 0,5 mm, et la variante sans suivi a obtenu 5,7 % à 0,5 mm.
• 1 560 essais réels ont été menés sur la méthode et 7 baselines ; le traqueur fonctionne à la cadence de la caméra, 10 Hz.
• Le NUNOCS Net a utilisé 100 000 points de données synthétiques par catégorie, tandis que les baselines KPAM et KPAM 2.0 ont été entraînées sur 90 000 à 98 340 points de données réels par catégorie avec annotations de points clés.

Limites

• La vision est la seule modalité de perception ; les auteurs s'attendent à ce qu'une perception de force ou tactile améliore la précision dans les tâches de haute précision.
• Seuls les objets rigides sont traités ; les objets articulés ou déformables comme les câbles nécessitent d'autres représentations au niveau de la catégorie.
• Modes d'échec rapportés : dans l'assemblage de piles, la force du ressort peut éjecter la pile de la pince, et dans l'insertion d'engrenages anchor-and-pivot, l'engrenage peut tourner dans la main jusqu'à ce qu'il n'existe plus de solution de cinématique inverse sans collision.
• À une tolérance engrenage-arbre de 0,1 mm, la réussite tombe à 28,6 %.
• La méthode suppose une saisie qui ne gêne pas la tâche (la planification de saisie est hors de son périmètre), et les réceptacles sont construits à partir de primitives géométriques et localisés avec RANSAC.

Impact sur le domaine

Finaliste du RSS 2022 Best Paper Award, et cité 145 fois. L'article n'indique aucune publication de son propre code ni de ses propres données.

Résumé

Des résultats prometteurs ont récemment été obtenus en manipulation au niveau de la catégorie, qui généralise d'une instance d'objet à l'autre. Néanmoins, elle exige souvent une collecte coûteuse de données réelles et la spécification manuelle de points clés sémantiques pour chaque catégorie d'objets et chaque tâche. De plus, des prédictions grossières de points clés et l'ignorance des séquences d'actions intermédiaires freinent l'adoption dans des tâches de manipulation complexes allant au-delà du pick-and-place. Ce travail propose un nouveau cadre de manipulation au niveau de la catégorie qui exploite une représentation centrée sur l'objet au niveau de la catégorie et un suivi de mouvement 6 DoF sans modèle. La représentation canonique des objets est apprise uniquement en simulation, puis utilisée pour extraire une trajectoire de tâche au niveau de la catégorie à partir d'une seule vidéo de démonstration. La démonstration est reprojetée en une trajectoire cible adaptée à un nouvel objet via la représentation canonique. Pendant l'exécution, l'horizon de manipulation est décomposé en un mouvement à longue portée sans collision et une manipulation du dernier pouce (last-inch). Pour cette dernière partie, une méthode de clonage de comportement au niveau de la catégorie (CatBC) exploite le suivi de mouvement pour effectuer une commande en boucle fermée. CatBC suit la trajectoire cible, projetée à partir de la démonstration et ancrée à un repère au niveau de la catégorie sélectionné dynamiquement. Le repère est sélectionné automatiquement le long de l'horizon de manipulation par un mécanisme d'attention locale. Ce cadre permet d'enseigner différentes stratégies de manipulation en fournissant une seule démonstration, sans programmation manuelle compliquée. Des expériences approfondies démontrent son efficacité dans une série de tâches industrielles difficiles d'assemblage de haute précision, qui impliquent l'apprentissage de politiques complexes à long horizon. Le processus fait preuve de robustesse face à l'incertitude due à la dynamique ainsi que de généralisation entre instances d'objets et configurations de scène.

Liens

• arXiv 2201.12716: https://arxiv.org/abs/2201.12716
• DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
• PDF: https://arxiv.org/pdf/2201.12716v1