Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

Auteurs: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Reconnaître les objets que le robot a déjà manipulés et réutiliser leurs modèles TSDF partiels : le taux de réussite passe de 85 % à 98 % et il faut moins de passages d'une main à l'autre et de nouveaux scans.

Pourquoi c'est important

Un robot qui voit les mêmes articles à répétition, comme dans les entrepôts ou les cuisines, peut s'appuyer sur les rencontres précédentes pour réduire l'incertitude de forme au lieu de repartir de zéro. L'article montre que cela diminue le nombre d'étapes de manipulation supplémentaires nécessaires pour placer des objets dans des zones contraintes.

Problème

Les systèmes de pick-and-place pour des objets sans modèle 3D connu traitent généralement chaque objet comme nouveau, même lorsque le même objet a déjà été manipulé. Pour le placement dans des espaces exigus, ils doivent supposer un volume prudent pour les parties non vues, ce qui impose des passages supplémentaires d'une main à l'autre et des mouvements de perception active, et ne laisse parfois aucune saisie sûre.

Solution proposée

Chaque objet manipulé est stocké sous forme d'un volume de fonction de distance signée tronquée (TSDF) de 1 mm, accompagné de 64 groupes de caractéristiques de couleur ResNet50 issues de différents points de vue. Un nouvel objet est apparié au jeu de données par distance cosinus, puis un filtre particulaire sur GPU recale le modèle partiel stocké et rejette les poses situées dans l'espace libre observé ou sous la table. Le même filtre particulaire suit l'objet en main pendant que de nouvelles vues de profondeur sont fusionnées dans son modèle.

Idées clés

• Les modèles en grille d'occupation n'étaient pas assez précis pour être réutilisés d'une tâche à l'autre ; un volume TSDF de 1 mm l'était
• Élaguer les hypothèses de pose qui placent le modèle dans l'espace libre observé ou sous le plan d'appui a rejeté l'unique fausse reconnaissance avant qu'elle ne fasse échouer une tâche
• Représenter un objet par plusieurs groupes de caractéristiques issus de différents points de vue plutôt que par une caractéristique moyenne fait passer le rappel de 0,211 à 0,886 au seuil choisi
• Les faux négatifs ne coûtent que de l'efficacité, puisque l'objet est traité comme nouveau, alors que les faux positifs peuvent faire échouer une tâche ; le seuil est donc réglé pour une précision élevée
• Ne rendre qu'une région d'intérêt divise par deux le temps d'itération du filtre particulaire par rapport à la méthode antérieure sur l'image entière

Principaux résultats

• Réussite des tâches 54/55 (98 %) contre 47/55 (85 %) pour la référence qui traite chaque objet comme nouveau
• Actions de passage d'une main à l'autre dans 20/55 tâches (36 %) contre 37/55 (67 %) pour la référence
• Actions de perception active dans 8/55 tâches (14 %) contre 35/55 (63 %) pour la référence
• Le recalage d'un modèle stocké a réduit le volume prudent d'incertitude de forme de 32 % en moyenne et jusqu'à 75 %
• Objet correctement reconnu dans 49/55 expériences, avec 5 faux négatifs et 1 faux positif rejeté par l'estimation de pose
• Modèles reconstruits à moins de 5 mm en distance de Chamfer de la vérité terrain pour les quatre objets ; les itérations d'estimation de pose prennent environ 30 ms contre environ 60 ms pour la méthode antérieure avec 625 particules

Limites

• Les auteurs indiquent que la représentation TSDF n'est pas adaptée aux structures fines, si bien que des objets comme des bols sont difficiles à reconstruire et à suivre
• Les scènes encombrées sont laissées à des travaux futurs ; chaque tâche contient un seul objet isolé
• Les modèles reconstruits contiennent des points intérieurs bruités dus aux erreurs de suivi lorsque l'objet est fortement occulté
• Évalué sur quatre objets dans 55 tâches par système, et des faux négatifs surviennent lorsque la partie visible d'un objet n'a encore jamais été vue

Impact sur le domaine

Finaliste du ICRA 2022 Outstanding Manipulation Paper award, avec 17 citations. Les auteurs indiquent que l'estimateur de pose par filtre particulaire est publié en open source sur GitHub sous la forme d'un outil d'annotation de pose 6DoF.

Résumé

Ce travail propose une chaîne robotique pour la saisie et le placement contraint d'objets sans a priori de forme géométrique. Par rapport aux travaux récents menés sur des tâches similaires, où chaque objet était supposé nouveau, le système proposé reconnaît les objets précédemment manipulés et effectue une reconstruction et une réutilisation de modèles en ligne. Au fil d'un processus de manipulation à long terme, le système continue d'apprendre les caractéristiques des objets avec lesquels il a interagi et met à jour leurs modèles reconstruits. Chaque fois qu'une instance d'un objet précédemment manipulé réapparaît, le système vise d'abord à la reconnaître, puis à recaler son modèle reconstruit précédemment sur l'observation courante. Cette étape réduit fortement l'incertitude sur la forme de l'objet, permettant au système de raisonner même sur des parties des objets qui ne sont pas observables actuellement. Il en résulte aussi une meilleure efficacité de manipulation, car le besoin de perception active de l'objet cible pendant la manipulation diminue. Pour obtenir un modèle reconstruit réutilisable, la chaîne proposée adopte : i) la TSDF pour la représentation des objets, et ii) une variante de l'algorithme standard de filtre particulaire pour l'estimation de pose et le suivi du modèle partiel de l'objet. En outre, une manière efficace de construire et de maintenir un jeu de données d'objets manipulés est présentée. Une série d'expériences de manipulation en conditions réelles est menée pour montrer comment les tâches de manipulation futures deviennent plus efficaces et plus efficientes en réutilisant les modèles reconstruits, générés à la volée, d'objets précédemment manipulés, au lieu de traiter les objets comme nouveaux à chaque fois.

Liens

• arXiv 2109.13910: https://arxiv.org/abs/2109.13910
• DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
• PDF: https://arxiv.org/pdf/2109.13910v1