Grasp Pose Detection in Point Clouds

Auteurs: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Échantillonner des milliers de poses de pince 6-DOF sur toute surface visible, noter chacune avec un petit CNN sur des projections multivues du nuage local, en choisir une par heuristiques : 93 % de réussite en encombrement dense.

Pourquoi c'est important

La méthode ne nécessite ni segmentation, ni identité de l'objet, ni modèle CAD à l'exécution, ce qui convient à la préhension en monde ouvert. Les ablations sur le robot montrent la contribution de chaque étape : la qualité du nuage de points, la classification des saisies et les heuristiques de sélection des saisies modifient chacune le taux de réussite de 9 à 40 points.

Problème

Les chaînes de traitement classiques de saisie recalent un modèle CAD sur le nuage de points, ce qui est difficile avec des nuages bruités et partiels et suppose qu'un modèle existe pour chaque objet. Les méthodes antérieures de détection de saisies atteignaient 75–95 % de réussite sur des objets isolés ou en léger encombrement, trop peu pour un usage pratique et non représentatif d'un encombrement réel.

Solution proposée

Les candidats de saisie sont échantillonnés sur toute surface visible en construisant un repère de Darboux local en des points aléatoires du nuage et en avançant un modèle de pince jusqu'au contact, en conservant les poses sans collision qui ont des points dans la région de fermeture. Chaque candidat est encodé en une image à 15 canaux (ou à 3 canaux, moins coûteuse) à partir de trois projections des voxels occupés, des voxels occultés et des normales de surface, puis noté par un CNN à quatre couches de type LeNet. Le CNN est entraîné sur 1,5M exemples étiquetés générés en vérifiant des saisies antipodales sans frottement sur des maillages BigBird recalés sur des nuages de points réels.

Idées clés

• La représentation de la saisie compte : le descripteur à 15 canaux avec normales de surface et vues multiples dépasse la carte de hauteur à 3 canaux de Herzog/Kappler d'au moins 10 % de précision de classification
• Le pré-entraînement sur des données CAD simulées aide au début (même précision à 4000 itérations qu'à 20000 sans), mais le bénéfice s'estompe, et l'entraînement en simulation seule n'a atteint que 83 % contre environ 90 % avec des données réelles
• Connaître la catégorie ou l'instance de l'objet augmente la précision : environ 97 % de classification correcte pour des instances cylindriques connues contre environ 92 % sans connaissance préalable
• La détection de saisies a davantage besoin d'une haute précision que d'une haute exactitude, c'est pourquoi l'article mesure le rappel à 99 % de précision
• Les saisies détectées peuvent servir de propositions d'objets pour un classifieur d'objets, ce qui permet au robot de saisir un objet désigné par son nom

Principaux résultats

• Nuage de points actif (capteur au poignet avec InfiniTAM) : 93 % de réussite de saisie (268 sur 288 tentatives) sur 30 tours de 10 objets, 89 % des objets débarrassés
• Nuage de points passif (deux Asus Xtion Pro montés sur le corps) : 84 % de réussite (116 sur 138), 77 % des objets débarrassés
• Sans les heuristiques de sélection des saisies : 75 % de réussite (117 sur 155) ; sans classification des saisies : 53 % de réussite (75 sur 142)
• Rappel à 99 % de précision : 89 % pour la représentation à 15 canaux, 82 % pour 12 canaux, 19 % pour la représentation de Herzog/Kappler
• Temps d'exécution pour 1k candidats sur un nuage de 66k points : 2,1 s avec le descripteur à 3 canaux contre environ 8 s avec 15 canaux
• Saisies comme propositions d'objets en encombrement : 85,4 % de précision de classification d'objets (1023 sur 1197 propositions) sur 9 objets

Limites

• Sans segmentation, le détecteur peut produire une saisie qui traite deux objets adjacents comme un seul ; ce problème devrait s'accentuer avec des mains à plus grande ouverture
• Saisir un objet précis repose sur une classification d'objets qui n'a atteint que 85 % en laboratoire ; il faut l'améliorer avant un usage dans le monde réel
• La méthode est limitée aux mains à deux doigts (ou aux mains qui se comportent comme telles), et l'avantage de l'échantillonnage peut disparaître pour des mains dont la région de fermeture est plus complexe
• La largeur de saisie de 3–7 cm de la pince du Baxter a limité les objets de test, et deux objets ont dû être redressés à la main lorsqu'ils retombaient à l'envers
• Les données d'entraînement issues d'images de profondeur simulées se transfèrent mal aux capteurs réels (83 % contre environ 90 % de précision)

Impact sur le domaine

722 citations. Les auteurs publient leur implémentation sous forme de paquet ROS en C++ (github.com/atenpas/gpd) et définissent un protocole de benchmark en encombrement dense pour les expériences de saisie.

Résumé

Récemment, plusieurs méthodes de détection de saisies ont été proposées qui permettent de localiser des configurations de saisie robotique directement à partir des données capteurs, sans estimer la pose de l'objet. L'idée sous-jacente est de traiter la perception de la saisie de manière analogue à la détection d'objets en vision par ordinateur. Ces méthodes prennent en entrée une image RGBD ou un nuage de points bruité et partiellement occulté, et produisent en sortie des estimations de pose de saisies viables, sans supposer un modèle CAD connu de l'objet. Bien que ces méthodes généralisent bien les connaissances de saisie à de nouveaux objets, il n'a pas encore été démontré qu'elles sont suffisamment fiables pour un usage large. De nombreuses méthodes de détection de saisies atteignent des taux de réussite de saisie (saisies réussies rapportées au nombre total de tentatives de saisie) compris entre 75 % et 95 % pour des objets inédits présentés isolément ou dans un léger encombrement. Non seulement ces taux de réussite sont trop faibles pour des applications pratiques de saisie, mais les scénarios de léger encombrement évalués ne reflètent souvent pas les réalités de la saisie dans le monde réel. Cet article propose plusieurs innovations qui, ensemble, aboutissent à une amélioration significative des performances de détection de saisies. L'amélioration spécifique des performances due à chacune de nos contributions est mesurée quantitativement, soit en simulation, soit sur du matériel robotique. Enfin, nous rapportons une série d'expériences robotiques qui atteignent en moyenne un taux de réussite de saisie de bout en bout de 93 % pour des objets inédits présentés dans un encombrement dense.

Liens

• arXiv 1706.09911: https://arxiv.org/abs/1706.09911
• DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
• PDF: https://arxiv.org/pdf/1706.09911v1
• Code: http://github.com/atenpas/gpd