Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

Auteurs: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

F3RM distille des caractéristiques 2D de CLIP ou de DINO dans un champ de caractéristiques NeRF 3D, de sorte qu'un robot peut inférer des saisies et des déposes 6-DOF à partir de deux démonstrations par tâche et saisir des objets désignés en texte libre.

Pourquoi c'est important

La méthode ne nécessite ni fine-tuning des modèles de vision, ni masques de segmentation, ni hypothèses sur la pose des objets, car elle opère sur l'ensemble du champ de caractéristiques. Les auteurs rapportent que brancher un modèle vision-langage plus récent dans la chaîne demande quelques minutes d'ingénierie, sans réentraînement ni nouvelles démonstrations.

Problème

Les modèles d'images 2D préentraînés portent une riche connaissance sémantique, mais la saisie et la dépose exigent une géométrie 3D précise qui manque aux caractéristiques 2D. L'article se demande comment un robot peut saisir des objets qu'il n'a jamais vus, à partir de quelques démonstrations ou d'une description textuelle, dans des scènes encombrées où les objets diffèrent de ceux des démonstrations par la forme, la taille, la pose et le matériau.

Solution proposée

Le robot balaie la table avec une caméra RGB montée sur une perche à selfie (50 images) et entraîne un NeRF qui rend aussi des caractéristiques denses de DINO ViT ou de CLIP ; les caractéristiques de patch CLIP sont extraites avec la reparamétrisation MaskCLIP pour rester alignées avec le langage. Une pose de pince 6-DOF est encodée en échantillonnant le champ de caractéristiques pondéré par l'occupation en 100 points de requête dans le repère de la pince, et les poses sont trouvées par un préfiltrage par voxels suivi d'une optimisation Adam par rapport au plongement moyen de deux démonstrations. Pour les commandes textuelles, le plongement textuel CLIP récupère les démonstrations les plus proches et pondère le coût de pose vers les régions qui correspondent à la requête.

Idées clés

• Les champs de caractéristiques DINO et CLIP sont complémentaires : DINO donne une bonne géométrie au niveau des parties mais se laisse tromper par des distracteurs d'apparence similaire et tend à surapprendre la couleur, tandis que CLIP privilégie la sémantique sur la géométrie : 21 des 27 échecs de CLIP contre 7 des 19 échecs de DINO provenaient d'erreurs de rotation ou de translation de la saisie.
• Les caractéristiques CLIP denses extraites de l'avant-dernière couche avec MaskCLIP conservent leur alignement avec l'encodeur de texte, si bien que les requêtes en langage fonctionnent sur le champ de caractéristiques 3D sans fine-tuning de CLIP.
• Pondérer les caractéristiques par l'occupation NeRF (alpha) permet à une représentation par points de requête d'encoder à la fois la géométrie locale et la sémantique, sans segmentation ni pose des objets.
• Des démonstrations sur des tasses et des tournevis se sont transférées à de nouvelles catégories comme des bols, des béchers gradués, des rouleaux de ruban adhésif, des feutres pour tableau blanc et des ustensiles lorsque la cible était désignée par le texte.
• La plupart des échecs guidés par le langage (13 sur 19) venaient du fait que CLIP se comporte comme un sac de mots (bag-of-words) et manque les relations, les attributs et l'information ordinale de la requête.

Principaux résultats

• Saisie et dépose à partir de deux démonstrations par tâche, cinq tâches de dix scènes de test chacune : caractéristiques CLIP ResNet 39/50, CLIP ViT 34/50, DINO ViT 31/50.
• Méthodes de référence sur les mêmes tâches : densité NeRF 27/50, RGB 21/50, caractéristiques NeRF intermédiaires 9/50 et MIRA 15/50.
• Manipulation guidée par le langage dans 13 scènes sur table : 31 requêtes sur 50 réussies ; par catégorie, couleur 7/10, matériau 7/10, relationnelle 4/10, générale 4/10 et catégories d'objets hors distribution 9/10.
• L'ajustement du NeRF et du champ de caractéristiques prend au plus 90 s (80 s en moyenne) sur une NVIDIA RTX 3090, et chaque scène nécessite 60–120 MB, contre 50 GB à plusieurs centaines de GB par scène pour ConceptFusion, fondé sur des surfels.
• L'optimisation de la pose de saisie prend 15 s en moyenne ; dans une ablation sur le nombre de vues, la qualité chute fortement en dessous d'environ 20 des 50 images balayées.

Limites

• Selon les auteurs : la chaîne automatisée de balayage et de modélisation prend quelques minutes par scène et constitue le principal goulot d'étranglement du système.
• Les auteurs notent que le taux de réussite guidé par le langage de 31/50 est loin d'être exploitable pour un usage industriel.
• Le comportement sac de mots de CLIP a causé des échecs sur des requêtes comme "black screwdriver" et "mug on a can of spam", et la récupération de démonstrations par le texte a parfois nécessité du prompt engineering.
• Les distributions de points de requête sont réglées à la main pour chaque tâche, et le meilleur de cinq ensembles de points de requête échantillonnés est choisi sur des scènes de développement.
• Six des 19 échecs guidés par le langage provenaient d'erreurs de rotation ou de translation dans la saisie prédite.

Impact sur le domaine

Lauréat du CoRL 2023 Best Paper Award. La page officielle du projet renvoie au dépôt de code de F3RM.

Résumé

Les modèles d'images auto-supervisés et supervisés par le langage contiennent une riche connaissance du monde, importante pour la généralisation. Cependant, de nombreuses tâches robotiques exigent une compréhension détaillée de la géométrie 3D, qui fait souvent défaut aux caractéristiques d'images 2D. Ce travail comble cet écart entre 2D et 3D pour la manipulation robotique en exploitant des champs de caractéristiques distillées afin de combiner une géométrie 3D précise avec la sémantique riche des modèles de fondation 2D. Nous présentons une méthode d'apprentissage few-shot pour la saisie et la dépose 6-DOF qui exploite ces forts a priori spatiaux et sémantiques pour obtenir une généralisation en conditions réelles à des objets inédits. À l'aide de caractéristiques distillées d'un modèle vision-langage, CLIP, nous présentons une manière de désigner de nouveaux objets à manipuler par du texte libre en langage naturel, et démontrons sa capacité à généraliser à des expressions inédites et à de nouvelles catégories d'objets.

Liens

• arXiv 2308.07931: https://arxiv.org/abs/2308.07931
• PDF: https://arxiv.org/pdf/2308.07931v1
• Code: https://github.com/f3rm/f3rm
• Page du projet: https://f3rm.csail.mit.edu/