SORNet: Spatial Object-Centric Representations for Sequential Manipulation

Auteurs: Wentao Yuan, Chris Paxton, Karthik Desingh, Dieter Fox · CoRL 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

SORNet plonge chaque objet d'une image RGB à partir d'une vue canonique de cet objet ; de petits MLP de lecture transforment les plongements en préconditions de compétences et en directions 3D pour des objets inédits.

Pourquoi c'est important

Les prédicats prédits alimentent un planificateur symbolique de tâches et de mouvements, si bien que le même réseau peut servir à de nouvelles tâches et de nouveaux objets sans réentraînement ni affinage. Les auteurs utilisent des prédicats prédits à partir de l'image caméra d'un robot réel pour renseigner l'état d'un planificateur en vue d'une exécution en boucle ouverte, et utilisent les prédictions de direction pour l'asservissement visuel vers un objet cible.

Problème

La manipulation séquentielle doit savoir quelles relations spatiales sont vraies entre les objets, par exemple si le dessus d'un bloc est libre, avant qu'un planificateur puisse choisir la compétence suivante. Les estimateurs d'état explicites se généralisent difficilement à des ensembles arbitraires d'objets, en particulier des objets en contact, et les réseaux de bout en bout restent liés à la tâche sur laquelle ils ont été entraînés : un réseau entraîné à empiler des blocs ne peut pas simplement les désempiler.

Solution proposée

SORNet est un Vision Transformer qui prend en entrée des patchs de contexte RGB de la scène ainsi que des vues canoniques des objets d'intérêt comme tokens de requête, avec une attention masquée de sorte que les requêtes ne lisent que dans la scène, et produit un plongement par objet interrogé. Des réseaux de lecture MLP à deux couches projettent des plongements seuls ou appariés vers des prédicats unaires et binaires ou vers des directions 3D continues, avec des paramètres indépendants du nombre d'objets ; l'entraînement utilise Leonardo, un nouveau jeu de données simulé d'un Franka Panda empilant des blocs, étiqueté avec des prédicats de vérité terrain.

Idées clés

• Le conditionnement par des vues canoniques d'objets, qui n'ont pas besoin de correspondre à l'apparence de l'objet dans la scène, permet au modèle de repérer des objets inédits malgré des changements d'éclairage, de pose et d'occultation, sans réentraînement.
• Masquer l'attention entre les tokens de requête et des patchs de contexte vers les requêtes rend les sorties équivariantes par permutation, de sorte qu'un nombre quelconque d'objets peut être interrogé à l'inférence.
• Des plongements entraînés uniquement avec des étiquettes de prédicats logiques portent tout de même une information spatiale continue : un régresseur sur des plongements figés prédit les directions 3D mieux que des baselines entraînées avec une supervision de pose.
• Les baselines sans conditionnement par objet échouent en zero-shot sur les objets inédits et restent loin derrière, même après un affinage 100-shot.
• Agréger trois vues de caméra aide face aux occultations, et ajouter l'état de la pince améliore les prédicats liés à la pince, comme has-object.

Principaux résultats

• Précision zero-shot des relations sur CLEVR-CoGenT : 99,006 % sur valA et 98,222 % sur valB, contre 84,950 % / 59,627 % pour MDETR et 97,944 % / 98,052 % pour MDETR-oracle, qui a vu tous les objets à l'entraînement.
• Classification de prédicats Leonardo sur objets inédits (52 prédicats) : SORNet M-View (G) atteint 98,9 % de précision, 63,6 % de précision en correspondance totale et un F1 de 89,5 ; la meilleure baseline 100-shot atteint 92,8 %, 4,1 % et 0,0.
• Scènes à 5 et 6 objets (entraînement sur 4) : 98,5 % et 98,0 % de précision, la correspondance totale tombant à 45,5 % et 29,7 % à mesure que les prédicats passent à 70 et 102.
• 30 images de robot réel : 96,3 % de précision, 26,7 % de précision en correspondance totale, F1 de 76,5.
• Précision d'exécutabilité des compétences : 76,3 % pour SORNet M-View (G) contre environ 27 % pour les baselines ResNet18 et ViT, qui obtiennent 0 % sur grasp, align, place et lift.
• Régression de direction 3D relative (erreur euclidienne sur vecteurs unitaires, 1000 exemples d'entraînement) : 0,1458 objet-objet et 0,1777 effecteur terminal-objet pour SORNet (pré-entraîné, multi-vues), contre 0,4308 / 0,3251 pour ResNet18 et 0,6145 / 0,4960 pour CLIP-ViT pré-entraîné.

Limites

• Les réseaux de lecture ne traitent que les relations unaires et binaires ; les relations impliquant plus de deux objets sont laissées à des travaux futurs.
• Les relations spatiales sont prédites à partir d'une seule image RGB ; le raisonnement temporel n'est pas abordé.
• Sur les images réelles, le modèle se trompe dans des situations jamais vues à l'entraînement, comme un bloc empilé entre deux blocs, et la précision en correspondance totale sur les 30 images réelles est de 26,7 %.
• La précision en correspondance totale baisse à mesure que des objets sont ajoutés (29,7 % avec 6 objets), car le nombre de prédicats binaires croît de façon quadratique.
• Les données d'entraînement couvrent une seule tâche, l'empilement de 4 blocs ; la démonstration de planification sur robot réel s'exécute en boucle ouverte et n'est montrée que dans la vidéo supplémentaire.

Impact sur le domaine

Finaliste du CoRL 2021 Best System Paper Award, avec 82 citations. L'article apporte le jeu de données Leonardo d'observations RGB étiquetées par des prédicats spatiaux, et la page officielle du projet renvoie vers le code (github.com/wentaoyuan/sornet).

Résumé

Les tâches de manipulation séquentielle exigent qu'un robot perçoive l'état d'un environnement et planifie une séquence d'actions menant à un état but souhaité, la capacité à raisonner sur les relations spatiales entre entités objets à partir d'entrées capteurs brutes étant cruciale. Les travaux antérieurs reposant sur une estimation d'état explicite ou sur un apprentissage de bout en bout peinent face à de nouveaux objets ou de nouvelles tâches. Dans ce travail, nous proposons SORNet (Spatial Object-Centric Representation Network), qui extrait des représentations centrées sur les objets à partir d'images RGB, conditionnées par des vues canoniques des objets d'intérêt. Nous montrons que les plongements d'objets appris par SORNet généralisent en zero-shot à des entités objets inédites sur trois tâches de raisonnement spatial : classification de relations spatiales, classification de préconditions de compétences et régression de direction relative, en surpassant nettement les baselines. En outre, nous présentons des expériences robotiques réelles démontrant l'utilisation des plongements d'objets appris dans la planification de tâches pour la manipulation séquentielle.

Liens

• arXiv 2109.03891: https://arxiv.org/abs/2109.03891
• DOI 10.48550/arXiv.2109.03891: https://doi.org/10.48550/arXiv.2109.03891
• PDF: https://proceedings.mlr.press/v164/yuan22a/yuan22a.pdf
• Code: https://github.com/wentaoyuan/sornet
• Page du projet: https://wentaoyuan.github.io/sornet