Language-Driven Representation Learning for Robotics

Auteurs: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Voltron combine une reconstruction masquée conditionnée par le langage et une génération de légendes sur Something-Something-v2, et bat MVP et R3M à données égales sur une nouvelle suite d'évaluation robotique à cinq problèmes.

Pourquoi c'est important

L'apprentissage robotique a besoin de caractéristiques visuelles pour la perception, l'ancrage du langage et la commande, et pas seulement pour la commande. À données de préentraînement et capacité de modèle égales, l'article montre que le langage pendant le préentraînement améliore les résultats même sur des tâches sans entrée langagière, et il fournit une suite d'évaluation unique pour comparer les représentations sur ces problèmes.

Problème

Les représentations visuelles préentraînées sur des vidéos humaines, comme MVP (autoencodage masqué) et R3M (apprentissage contrastif), ont été évaluées principalement sur la commande visuomotrice. Testées plus largement, elles sont incohérentes : MVP réussit bien la prédiction d'affordances de saisie mais peine en imitation conditionnée par le langage, tandis que R3M fait l'inverse et s'effondre complètement sur la prédiction d'affordances de saisie.

Solution proposée

Voltron fournit des images vidéo et leurs légendes à une chaîne d'autoencodage masqué dont l'encodeur Transformer plonge conjointement la vision et le langage. Avec une probabilité α, il génère la légende à partir du contexte visuel au lieu de s'y conditionner, arbitrant ainsi entre caractéristiques de reconstruction de bas niveau et sémantique de haut niveau ; trois variantes sont étudiées : V–Cond (une image, α = 0), V–Dual (deux images, α = 0) et V–Gen (deux images, α = 0,5). Les auteurs construisent aussi une suite d'évaluation de cinq problèmes : prédiction d'affordances de saisie, ancrage d'expressions référentielles, commande visuomotrice mono-tâche en simulation, imitation conditionnée par le langage sur un bras Franka réel et évaluation d'intention zero-shot.

Idées clés

• Conditionner la reconstruction masquée par le langage aide même sans langage au moment du test : V–Cond bat R-MVP et le MVP plus grand (EgoSoup) sur la prédiction d'affordances de saisie.
• Aucune variante de Voltron n'est la meilleure partout : la génération de langage (V–Gen) est nécessaire pour l'évaluation d'intention mais pénalise certaines tâches de commande, et V–Cond à image unique fonctionne bien sur les tâches non épisodiques mais reste derrière les modèles à deux images en commande.
• La modélisation générative du langage a mieux tenu que la modélisation masquée du langage : un M3AE reproduit a surappris sa perte langagière jusqu'à une perplexité de 1 dès les 20 premières époques et a obtenu des scores plus faibles sur chaque évaluation testée.
• Fusionner vision et langage dans l'encodeur pendant le préentraînement, plutôt que combiner après coup des encodages séparés du texte et de l'image, est l'explication des auteurs pour les gains importants sur l'ancrage d'expressions référentielles.
• Le pooling d'attention multi-têtes (MAP) pour l'extraction de caractéristiques a amélioré chaque modèle ViT et a presque doublé la réussite en commande visuomotrice par rapport à la procédure d'extraction des travaux MVP d'origine.

Principaux résultats

• Prédiction d'affordances de saisie (ARC Grasping, ViT-S) : V–Cond obtient 85,15 / 80,71 / 47,45 en précision Top-1 / Top-1 % / Top-5 %, contre 72,94 / 61,47 / 39,77 pour R-MVP et 40,38 / 40,55 / 28,66 pour R-R3M (Table 2).
• Ancrage d'expressions référentielles (OCID-Ref, précision totale à 0,25 d'IoU) : V–Cond 89,38 contre R-R3M 63,30, R-MVP + DistilBERT 49,58 et CLIP ViT-B 68,35 (Table 3).
• Passer V–Cond de ViT-S (22M paramètres) à ViT-B (86M) fait passer la précision Top-5 % de saisie de 47,45 à 62,33 et la précision totale sur les expressions référentielles de 89,38 à 90,77.
• Ablation (Table 4) : sans langage, le Top-1 % de saisie passe de 80,71 à 65,83, la précision référentielle de 89,38 à 53,44 et la réussite sur Franka Kitchen (n = 25) de 38,2 ± 5,09 à 33,1 ± 4,79 ; R-M3AE obtient 52,79, 51,61 et 24,0 ± 4,21.
• Évaluation d'intention zero-shot sur des vidéos WHiRL : V–Gen suit la progression de 'opening the faucet' sur les vidéos humaines comme robotiques, tandis que CLIP et R3M donnent des scores bruités (qualitatif, Figure 7).
• Imitation conditionnée par le langage sur robot réel (5 tâches, 20 démonstrations chacune) : les modèles Voltron obtiennent la plus forte réussite et, avec R-MVP, restent robustes aux distracteurs visuels ; ces chiffres ne sont rapportés que dans la Figure 6.

Limites

• Les auteurs ne disposaient pas de la puissance de calcul pour entraîner à l'échelle des MVP et R3M d'origine ; les comparaisons directes utilisent leurs propres reproductions sur Something-Something-v2, et les modèles officiels MVP, R3M et CLIP sont signalés comme non directement comparables (selon les auteurs).
• Aucune représentation n'est la plus forte sur toutes les tâches ; des compromis entre caractéristiques de bas et de haut niveau subsistent (selon les auteurs).
• Les taux de réussite absolus en commande sur Franka Kitchen restent faibles ; l'apprentissage de politiques en boucle fermée à partir de données limitées reste un problème ouvert (selon les auteurs).
• Le préentraînement a utilisé au plus des contextes de deux images, car quatre images dépassaient la mémoire disponible, et α = 1 (génération seule) n'a pas été évalué.
• Les scores d'intention ne sont pas parfaits : une fois le robinet ouvert, les scores restent élevés pour la vidéo humaine mais diminuent pour la vidéo robotique, pour des raisons que les auteurs n'ont pas pu expliquer.

Impact sur le domaine

Finaliste du RSS 2023 Best Paper Award, avec 242 citations. Les auteurs publient les modèles préentraînés V–Cond, V–Dual et V–Gen (ainsi qu'un V–Cond ViT-Base et des points de contrôle intermédiaires), le code de préentraînement et d'adaptation, les données Something-Something-v2 prétraitées avec les lots d'entraînement exacts, et une suite d'évaluation autonome.

Résumé

Des travaux récents sur l'apprentissage de représentations visuelles pour la robotique démontrent qu'il est possible d'apprendre à partir de grands jeux de données vidéo d'humains accomplissant des tâches quotidiennes. En s'appuyant sur des méthodes comme l'autoencodage masqué et l'apprentissage contrastif, ces représentations se transfèrent fortement à l'apprentissage de politiques pour la commande visuomotrice. Mais l'apprentissage robotique englobe un ensemble varié de problèmes au-delà de la commande, notamment la prédiction d'affordances de saisie, l'apprentissage par imitation conditionné par le langage et l'évaluation d'intention pour la collaboration humain-robot, entre autres. Nous montrons d'abord que les représentations existantes donnent des résultats incohérents sur ces tâches : les approches par autoencodage masqué captent les caractéristiques spatiales de bas niveau au détriment de la sémantique de haut niveau, tandis que les approches par apprentissage contrastif captent l'inverse. Nous présentons ensuite Voltron, un cadre d'apprentissage de représentations guidé par le langage à partir de vidéos humaines et des légendes associées. Voltron arbitre entre une reconstruction visuelle conditionnée par le langage, pour apprendre des motifs visuels de bas niveau, et une génération de langage ancrée visuellement, pour encoder la sémantique de haut niveau. Nous construisons également une nouvelle suite d'évaluation couvrant cinq problèmes distincts d'apprentissage robotique – une plateforme unifiée pour évaluer de manière globale les représentations visuelles pour la robotique. Grâce à des expériences complètes et contrôlées sur les cinq problèmes, nous constatons que les représentations guidées par le langage de Voltron surpassent l'état de l'art antérieur, en particulier sur les problèmes ciblés exigeant des caractéristiques de plus haut niveau.

Liens

• arXiv 2302.12766: https://arxiv.org/abs/2302.12766
• DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
• PDF: https://arxiv.org/pdf/2302.12766v1
• Code: https://github.com/siddk/voltron-robotics
• Page du projet: https://sites.google.com/view/voltron-robotics