Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

Auteurs: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Construit un LERF de la scène, masque l'objet nommé à l'aide de caractéristiques DINO, interroge le nom de la partie uniquement à l'intérieur de ce masque et reclasse les saisies de GraspNet pour que le robot saisisse la partie nommée.

Pourquoi c'est important

La méthode ne nécessite ni étiquettes de parties, ni jeux de données d'affordances, ni démonstrations, ni fine-tuning, et elle traite des requêtes de longue traîne comme 'ethernet dongle', 'cork' ou 'martini glass' parce qu'elle utilise CLIP en zero-shot. La requête de partie est du texte simple, de sorte qu'un modèle de langage peut fournir l'objet et la partie à partir d'une description de tâche comme 'cut the steak'.

Problème

De nombreux objets doivent être saisis par une partie précise, comme un couteau par son manche ou des lunettes de soleil par la monture, mais les planificateurs de saisie fondés sur l'apprentissage considèrent surtout la géométrie et jugent la réussite au fait que l'objet a été soulevé. Les méthodes antérieures de saisie orientée tâche collectent des jeux de données de parties d'objets ou d'affordances, difficiles à étendre à de nombreux objets. LERF seul ne met en évidence que la région la plus caractéristique d'un objet, et CLIP se comporte comme un sac de mots, si bien que 'mug' et 'mug handle' activent presque les mêmes régions.

Solution proposée

Une caméra au poignet capture environ 60 images sur une trajectoire hémisphérique, et un Language Embedded Radiance Field (caractéristiques CLIP et DINO distillées dans un NeRF, construit sur Nerfacto de Nerfstudio) est entraîné en environ 78 secondes. La requête d'objet localise l'objet, un masque d'objet 3D est étendu par remplissage par diffusion (flood-fill) de la similarité des caractéristiques DINO, et la requête de partie n'est évaluée que sur les points situés dans ce masque (une requête LERF conditionnelle). Les saisies GraspNet générées depuis un hémisphère de caméras virtuelles sont classées selon 0,95 × score sémantique (médiane de la pertinence de la partie dans le volume de saisie) + 0,05 × confiance GraspNet.

Idées clés

• Un masque d'objet 3D issu des caractéristiques DINO apporte le regroupement par objet qui manque à la pertinence CLIP de LERF, si bien que les requêtes de partie couvrent l'objet entier, y compris les objets allongés.
• Restreindre la requête de partie au masque de l'objet (requête conditionnelle) contrecarre le comportement de sac de mots (bag-of-words) de CLIP.
• Le score sémantique doit dominer le classement (poids 0,95) : la saisie géométrique de plus haute confiance sur le masque de l'objet ne tombe sur la bonne partie que dans 18 % des cas.
• Les caractéristiques CLIP multi-échelles comptent pour les parties : ConceptFusion, avec un plongement CLIP par point, choisit le bon objet à peu près aussi souvent mais la bonne partie bien moins souvent.
• Les principaux modes d'échec sont les parties visuellement similaires (bec contre anse d'une théière), la petite géométrie (anse de tasse à thé, gâchette de pulvérisateur), les catégories proches (couteau à steak contre couteau à pain) et la formulation du prompt ('bottle neck' localise mieux que 'neck').

Principaux résultats

• Saisie orientée partie avec des requêtes écrites par des humains (49 prompts, 12 scènes, Table 1) : bon objet 96 %, bonne partie 82 %, soulèvement réussi par la bonne partie 69 %. Le résumé et la conclusion donnent un taux de bonne partie de 81 %.
• Le nombre d'objets physiques est de 31 dans le résumé et la Section 5, et de 39 dans l'introduction et les résultats orientés tâche.
• ConceptFusion avec profondeur NeRF : 77 % de bon objet et 39 % de bonne partie (pas d'essais physiques) ; méthodes de référence à vue unique sur 20 prompts et 5 scènes : Semantic Abstraction 80 % objet / 35 % partie, OWL-ViT 85 % objet / 50 % partie.
• Lorsque ChatGPT choisit l'objet et la partie à partir d'une description de tâche (vote majoritaire sur sept réponses), la Table 3 rapporte 96 % de bon objet et 71 % de bonne partie ; le texte de la section Results donne 92 % pour le choix de la bonne primitive et présente les 71 % comme la réussite sur le bon objet.
• Durées : capture de la scène 30 s, entraînement de LERF jusqu'à 2k pas 78 s, requête LERF-TOGO 10 s, le prétraitement étant réparti sur trois GPU NVIDIA 4090 pendant la capture.

Limites

• Les auteurs indiquent que le processus de bout en bout prend quelques minutes, ce qui peut être peu pratique pour des applications sensibles au temps.
• Les groupes d'objets de premier plan qui se touchent sont fusionnés par le masque de flood-fill DINO au lieu d'être séparés (selon les auteurs).
• Si la requête d'objet correspond à plusieurs objets, comme des tasses identiques ou un 'mug' générique, le système en choisit un arbitrairement (selon les auteurs).
• Les expressions référentielles ou comparatives comme 'mug next to the plate' ou 'biggest mug' ne sont pas traitées (selon les auteurs).
• Chaque scène est reconstruite une fois, puis les objets sont retirés un à un sans mise à jour de la représentation ; le choix de la partie est sensible à la formulation, les requêtes de partie générées par un LLM atteignant 71 % de bonne partie contre 82 % pour les requêtes humaines.

Impact sur le domaine

Finaliste du CoRL 2023 Best Paper / Best Student Paper Award et cité 159 fois. Les auteurs mettent le code, les données et l'annexe à disposition via lerftogo.github.io, qui renvoie à un dépôt GitHub et à un dossier de données.

Résumé

Saisir un objet par une sous-partie spécifique est souvent crucial pour la sécurité et pour l'exécution des tâches en aval. Nous proposons LERF-TOGO, Language Embedded Radiance Fields for Task-Oriented Grasping of Objects, qui utilise des modèles vision-langage en zero-shot pour produire une distribution de saisies sur un objet à partir d'une requête en langage naturel. Pour ce faire, nous construisons d'abord un LERF de la scène, qui distille des plongements CLIP dans un champ de langage 3D multi-échelle interrogeable par du texte. Cependant, LERF n'a aucune notion des frontières des objets, si bien que ses sorties de pertinence renvoient souvent des activations incomplètes sur un objet, insuffisantes pour la saisie. LERF-TOGO pallie ce manque de regroupement spatial en extrayant un masque d'objet 3D à l'aide de caractéristiques DINO, puis en interrogeant LERF de manière conditionnelle sur ce masque pour obtenir une distribution sémantique sur l'objet, qui sert à classer les saisies d'un planificateur de saisie du commerce. Nous évaluons la capacité de LERF-TOGO à saisir des parties d'objets orientées tâche sur 31 objets physiques, et constatons qu'il sélectionne des saisies sur la bonne partie dans 81 % des essais et saisit avec succès dans 69 %. Code, données, annexe et détails sont disponibles sur : lerftogo.github.io

Liens

• arXiv 2309.07970: https://arxiv.org/abs/2309.07970
• DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
• PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
• Code: https://github.com/lerftogo/lerftogo
• Page du projet: https://lerftogo.github.io/