R3M: A Universal Visual Representation for Robot Manipulation

Auteurs: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

R3M pré-entraîne un encodeur ResNet figé sur des vidéos et légendes Ego4D ; le clonage de comportement par-dessus bat les caractéristiques CLIP, MoCo et ImageNet sur 12 tâches simulées et sur un Franka réel avec 20 démos.

Pourquoi c'est important

L'encodeur est publié sous forme de poids pré-entraînés ResNet18, ResNet34 et ResNet50 qui se chargent en un seul appel, si bien qu'une équipe peut entraîner des politiques de manipulation fondées sur l'image à partir de quelques démonstrations sans collecter de données du domaine pour la partie vision. Les tâches sur robot réel ont été apprises dans l'appartement d'un doctorant à partir de 20 démonstrations téléopérées chacune.

Problème

Entraîner de bout en bout des politiques de manipulation fondées sur l'image avec des données du domaine cible est gourmand en données et généralise mal. La robotique ne dispose d'aucun modèle visuel pré-entraîné, comparable aux caractéristiques ImageNet ou à BERT, qui puisse être téléchargé et réutilisé pour n'importe quelle tâche de manipulation, et les jeux de données robotiques existants couvrent un nombre limité de tâches dans tout au plus une poignée d'environnements.

Solution proposée

R3M entraîne un encodeur d'images ResNet sur Ego4D, plus de 3 500 heures de vidéo humaine égocentrique avec annotations langagières, au moyen de trois termes : une perte contrastive temporelle pour que des images proches dans le temps aient des plongements proches, une perte d'alignement vidéo-langage qui évalue si le changement entre la première image d'un extrait et une image ultérieure correspond à sa légende, et des pénalités L1 et L2 pour des plongements creux et compacts. L'encodeur est ensuite figé, et les politiques en aval sont entraînées par clonage de comportement sous forme d'un MLP à deux couches sur le plongement de l'image concaténé à la proprioception du robot.

Idées clés

• Des vidéos humaines du quotidien (Ego4D) sont des données de pré-entraînement utilisables pour les représentations visuelles de robots, même si l'incarnation diffère de celle du robot.
• Les trois termes d'entraînement contribuent ; retirer l'alignement vidéo-langage provoque la plus forte baisse, de 62,4 % à 53,2 % en moyenne sur les environnements et de 65,0 % à 45,6 % sur Adroit.
• Les données seules n'expliquent pas le gain : MoCo entraîné sur les mêmes images Ego4D obtient environ 10 % de moins que R3M, et le modèle MVP environ 20 % de moins, sur Franka Kitchen et Adroit.
• La pénalité de parcimonie aide sur Franka Kitchen et MetaWorld, mais la retirer aide légèrement sur Adroit, les auteurs soupçonnant que cela tient au fait qu'Adroit utilise davantage de démonstrations.
• L'avance de R3M se maintient pour chaque point de vue de caméra et chaque taille d'ensemble de démonstrations testés, tandis que le classement entre CLIP et MoCo (345) change selon le point de vue.

Principaux résultats

• Sur 12 tâches simulées dans MetaWorld, Franka Kitchen et Adroit, R3M atteint environ 62 % de réussite moyenne, plus de 20 % au-dessus de l'entraînement à partir de zéro et plus de 10 % au-dessus des caractéristiques CLIP, ImageNet supervisé et MoCo (345).
• R3M est la meilleure méthode dans les 3 environnements de simulation et sur 11 tâches sur 12.
• Ablation (Table 1, tous domaines) : R3M complet 62,4 %, sans augmentation par recadrage 60,4 %, sans pénalité L1 59,4 %, sans alignement langagier 53,2 %.
• Données ou objectif (Table 2) : Franka Kitchen 53,1 % pour R3M, 42,0 % pour MoCo entraîné sur Ego4D, 27,0 % pour MVP ; Adroit 65,0 %, 54,9 % et 51,4 %.
• Franka Emika Panda réel, 20 démonstrations et 10 essais par tâche : R3M obtient 56 % en moyenne contre 24 % pour CLIP (fermer un tiroir 80 % contre 70 %, masque dans la commode 30 % contre 10 %, laitue dans la poêle 60 % contre 0 %, pousser une tasse 70 % contre 40 %, plier une serviette 40 % contre 0 %).

Limites

• L'évaluation se limite à l'apprentissage par imitation, plus précisément au clonage de comportement avec un petit nombre de démonstrations ; une bonne représentation pré-entraînée pour l'apprentissage par renforcement peut différer de celle qui convient à l'imitation.
• R3M ne fournit qu'une représentation d'état à image unique ; son utilisation, ou celle de son module d'ancrage langagier, pour l'apprentissage de récompenses ou la spécification de tâches est laissée à des travaux futurs.
• La baseline MoCo (345) est configurée différemment de celle de Parisi et al. (proprioception, empilement d'images), de sorte que ses chiffres ne sont pas directement comparables entre les deux travaux.
• La comparaison sur robot réel ne couvre que R3M et CLIP, avec 10 essais par tâche.
• Les taux de réussite en simulation sont la meilleure valeur atteinte lors d'évaluations effectuées tous les 1 000 pas d'entraînement, moyennée sur les graines, les points de vue et les tailles d'ensembles de démonstrations.

Impact sur le domaine

Cité 541 fois. Les auteurs publient des modèles R3M pré-entraînés avec des backbones ResNet18, ResNet34 et ResNet50, ainsi que le code d'entraînement.

Résumé

Nous étudions comment des représentations visuelles pré-entraînées sur des données vidéo humaines variées peuvent permettre un apprentissage efficace en données de tâches de manipulation robotique en aval. Concrètement, nous pré-entraînons une représentation visuelle sur le jeu de données vidéo humain Ego4D en combinant un apprentissage contrastif temporel, un alignement vidéo-langage et une pénalité L1 qui favorise des représentations creuses et compactes. La représentation obtenue, R3M, peut être utilisée comme module de perception figé pour l'apprentissage de politiques en aval. Sur un ensemble de 12 tâches de manipulation robotique simulées, nous constatons que R3M améliore la réussite des tâches de plus de 20 % par rapport à un entraînement à partir de zéro et de plus de 10 % par rapport à des représentations visuelles de l'état de l'art comme CLIP et MoCo. En outre, R3M permet à un bras Franka Emika Panda d'apprendre une série de tâches de manipulation dans un appartement réel et encombré à partir de seulement 20 démonstrations.

Liens

• arXiv 2203.12601: https://arxiv.org/abs/2203.12601
• DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
• PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
• Code: https://github.com/facebookresearch/r3m
• Page du projet: https://sites.google.com/view/robot-r3m