Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

Auteurs: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

Licences

Accès libre
Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un réseau de points clés entraîné uniquement sur un mélange d'images synthétiques à randomisation de domaine et photoréalistes estime la pose 6-DoF des objets assez bien pour la saisie par un robot réel.

Pourquoi c'est important

Un robot n'a besoin d'aucune image réelle étiquetée pour apprendre un nouvel objet connu, et comme la pose provient de PnP plutôt que d'une régression directe, le réseau peut être utilisé avec une autre caméra sans réentraînement. L'article montre que les estimations sont assez précises sur un Baxter pour des saisies par le dessus, du pick-and-place sur un autre objet et la remise d'un objet par une personne.

Problème

Manipuler des objets connus exige leur position et leur orientation 3D, mais étiqueter la pose 6-DoF dans des images réelles demande beaucoup de travail, si bien que les réseaux sont généralement entraînés sur des données réelles étroitement corrélées à l'ensemble de test et généralisent mal à de nouvelles caméras et à de nouveaux éclairages. Les données synthétiques évitent l'étiquetage mais souffrent du fossé de la réalité, et la randomisation de domaine seule avait nécessité un affinage sur des données réelles pour être compétitive.

Solution proposée

DOPE est un réseau entièrement convolutif à six étages (les dix premières couches de VGG-19 plus des étages inspirés des convolutional pose machines) qui produit des cartes de croyance pour les 8 sommets projetés du cuboïde et le centroïde, ainsi que des champs de vecteurs pointant des sommets vers les centroïdes. Les pics sont regroupés de manière gloutonne en instances d'objets et transmis à un solveur perspective-n-point (PnP) avec les paramètres intrinsèques de la caméra et les dimensions de l'objet pour retrouver la pose. L'entraînement utilise environ 60k images à randomisation de domaine et 60k images photoréalistes d'objets YCB rendues avec le plugin NDDS des auteurs pour Unreal Engine 4.

Idées clés

Les données synthétiques à randomisation de domaine et photoréalistes se complètent : l'ensemble mixte de 120k a battu des ensembles bien plus grands d'un seul des deux types.
Prédire des points clés 2D et résoudre PnP maintient les paramètres intrinsèques de la caméra hors des poids du réseau, contrairement aux méthodes qui régressent directement la pose.
Chaque étage supplémentaire du réseau augmente la précision et coûte du temps, car les étages ultérieurs utilisent des champs réceptifs plus larges pour lever les ambiguïtés antérieures.
L'entraînement uniquement synthétique a mieux généralisé à une autre caméra et à un éclairage extrême que PoseCNN, dont les images d'entraînement réelles provenaient de la même caméra que son ensemble de test.
Les matériaux que le moteur de rendu ne modélise pas provoquent des ratés : le couvercle métallique réfléchissant de la boîte de viande en conserve n'était pas reconnu lorsqu'il était la seule partie visible.

Principaux résultats

Sur YCB-Video, DOPE entraîné uniquement sur des données synthétiques avait une aire sous la courbe ADD supérieure à celle de PoseCNN (entraîné sur des données synthétiques plus des données réelles YCB-Video) pour 4 objets sur 5, et faisait mieux en dessous de 2 cm, soit environ la limite d'erreur de saisie de la pince du Baxter.
Boîte de sucre, données à randomisation de domaine seules : l'AUC est passée de 0,25 à 2k images à 54,22 à 10k et environ 60,6 à 100k, avec un pic de 66,64 à 300k ; les données photoréalistes seules plafonnaient à 62,94 avec 600k ; l'ensemble mixte de 120k a atteint 77,00.
Proportion du mélange : les performances étaient comparables pour tous les réseaux tant qu'au moins 40 % de l'un des jeux de données était inclus avec la totalité de l'autre.
Étages contre temps (extraction des objets et PnP compris) : 1 étage donnait 46,44 d'AUC en 57 ms et 6 étages 75,69 d'AUC en 232 ms.
Saisies par le dessus avec Baxter, 12 essais par objet en encombrement : boîte de crackers 10, boîte de viande en conserve 10, flacon de moutarde 11, boîte de sucre 11, boîte de soupe à la tomate 7 (9 avec la boîte couchée).

Limites

Les boîtes de viande en conserve fortement occultées sont souvent manquées car les données synthétiques ne modélisent pas la surface supérieure métallique réfléchissante.
Les objets ronds sont difficiles à saisir par le dessus : la boîte de soupe debout a réussi dans 7 essais sur 12.
Les saisies s'exécutent sans asservissement en boucle fermée ; les erreurs proviennent de l'estimation de pose, de l'étalonnage caméra-robot et d'une commande imprécise du robot, la commande semblant jouer un grand rôle.
La méthode suppose des objets rigides connus de dimensions connues et des paramètres intrinsèques de caméra connus ; les auteurs citent davantage d'objets, la gestion des symétries et un raffinement en boucle fermée comme travaux futurs.
La comparaison avec PoseCNN sous éclairage extrême est uniquement qualitative.

Impact sur le domaine

Cité 778 fois. L'article renvoie à la vidéo et au code sur sa page de projet NVIDIA, qui pointe vers le dépôt de code DOPE ; les données d'entraînement photoréalistes ont été publiées sous le nom de jeu de données Falling Things (FAT), et le plugin de génération de données NDDS est sur GitHub.

Résumé

Utiliser des données synthétiques pour entraîner des réseaux de neurones profonds pour la manipulation robotique offre la promesse d'une quantité presque illimitée de données d'entraînement pré-étiquetées, générées en toute sécurité, à l'abri de tout danger. L'un des principaux défis des données synthétiques a été jusqu'ici de combler le fossé dit de la réalité (reality gap), afin que des réseaux entraînés sur des données synthétiques fonctionnent correctement lorsqu'ils sont exposés à des données du monde réel. Nous explorons ce fossé dans le contexte de l'estimation de pose 6-DoF d'objets connus à partir d'une seule image RGB. Nous montrons que, pour ce problème, le fossé de la réalité peut être franchi avec succès par une simple combinaison de données à randomisation de domaine et de données photoréalistes. À l'aide de données synthétiques générées de cette manière, nous présentons un réseau de neurones profond en un seul passage (one-shot) capable de rivaliser avec un réseau à l'état de l'art entraîné sur une combinaison de données réelles et synthétiques. À notre connaissance, il s'agit du premier réseau profond entraîné uniquement sur des données synthétiques capable d'atteindre des performances à l'état de l'art en estimation de pose d'objets 6-DoF. Notre réseau généralise aussi mieux à de nouveaux environnements, y compris des conditions d'éclairage extrêmes, pour lesquelles nous montrons des résultats qualitatifs. À l'aide de ce réseau, nous démontrons un système temps réel qui estime les poses d'objets avec une précision suffisante pour la saisie sémantique, dans le monde réel, d'objets ménagers connus en encombrement par un robot réel.

Liens

arXiv 1809.10790: https://arxiv.org/abs/1809.10790
DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
Code: https://github.com/NVlabs/Deep_Object_Pose
Page du projet: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose