Universal Visual Decomposer: Long-Horizon Manipulation Made Easy

Auteurs: Zichen Zhang, Yunshuang Li, Osbert Bastani, Abhishek Gupta, Dinesh Jayaraman, Yecheng Jason Ma, Luca Weihs · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

UVD trouve des sous-objectifs dans les vidéos de démonstration là où les distances entre embeddings visuels pré-entraînés cessent de diminuer, puis les utilise pour l'apprentissage par imitation conditionné par un objectif et le façonnage de récompense.

Pourquoi c'est important

UVD n'a besoin que de démonstrations vidéo et d'un encodeur prêt à l'emploi, et l'étape de décomposition ajoute moins de 0,1 s par trajectoire à l'entraînement standard de la politique. Les sous-objectifs ainsi trouvés permettent à une politique entraînée sur certains ordres de tâches d'exécuter des ordres inédits des mêmes sous-tâches, ce qui réduit la nécessité de collecter des démonstrations pour chaque séquence de tâches.

Problème

La manipulation à long horizon souffre d'erreurs qui s'accumulent, de grands espaces d'observation et d'action et de signaux d'apprentissage faibles, si bien que les tâches sont généralement découpées en sous-tâches. Les méthodes de décomposition existantes nécessitent des connaissances spécifiques à la tâche, comme la proprioception ou une structure connue des sous-tâches, ou exigent des modèles génératifs coûteux en calcul entraînés sur de grands jeux de données, de sorte qu'elles ne peuvent pas être appliquées telles quelles à de simples démonstrations vidéo.

Solution proposée

UVD prend un encodeur visuel pré-entraîné gelé (comme VIP, R3M ou LIV) et procède à rebours à partir de l'image finale : au sein d'une sous-tâche, la distance d'embedding à l'objectif courant devrait décroître de façon monotone, de sorte que la dernière image où cette monotonie se rompt devient le sous-objectif précédent, et l'étape se répète jusqu'au début de la vidéo. Les sous-objectifs découverts réétiquettent les démonstrations pour le clonage comportemental conditionné par un objectif et définissent une récompense RL comme la diminution, à chaque pas, de la distance d'embedding au sous-objectif courant. Au moment du test, les objectifs proviennent d'une recherche du plus proche voisin (tâche unique) ou du relais d'une séquence de sous-objectifs donnée.

Idées clés

• Les représentations entraînées sur de courtes vidéos pour encoder la progression de la tâche (VIP, R3M, LIV) donnent des distances d'embedding presque monotones au sein d'une sous-tâche ; sur plusieurs sous-tâches, la courbe de distance forme un plateau aux changements de phase, ce qui marque les frontières entre sous-tâches sans étiquettes.
• VIP et LIV, entraînés explicitement pour une progression temporelle régulière, sont ceux qui ont le plus gagné avec UVD, ce qui appuie l'idée que les représentations entraînées temporellement conviennent mieux à la découverte de sous-objectifs que les modèles d'images statiques comme CLIP et DINOv2.
• Les choix heuristiques de sous-objectifs (une image dans une fenêtre fixe en avant, ou 3 à 5 images aléatoires) ont donné des résultats comparables dans le domaine mais ont nui à la généralisation hors domaine, car ils produisent des sous-objectifs redondants et moins significatifs.
• Les récompenses définies par rapport à l'image finale lointaine n'ont pas guidé l'exploration RL sur une tâche en quatre étapes ; les récompenses par sous-objectif, si.
• Comme les embeddings sont bruités, un intervalle de temps minimal entre sous-objectifs et un lissage de la courbe de distance (régression à noyau de Nadaraya-Watson) sont nécessaires en pratique.

Principaux résultats

• Imitation dans FrankaKitchen avec VIP et GCBC : le succès hors domaine est passé de 0,035 à 0,188 et l'achèvement hors domaine de 0,236 à 0,566, le succès dans le domaine restant inchangé (0,736 contre 0,737).
• Le succès hors domaine s'est amélioré pour chaque représentation testée : R3M de 0,014 à 0,084, LIV de 0,008 à 0,066, CLIP de 0,005 à 0,073, DINOv2 de 0,012 à 0,055, et avec une politique Transformer de type GPT sur VIP de 0,039 à 0,213.
• RL dans FrankaKitchen avec PPO : le RL conditionné par un objectif utilisant l'image finale comme objectif a atteint un succès de 0,0 ; avec les récompenses UVD, le succès moyen/maximal sur 3 graines était de 0,65/1,0 avec VIP et de 0,649/1,0 avec R3M.
• Franka réel, succès hors domaine sur 20 exécutions (GCBC contre GCBC + UVD) : Apple-in-Oven 0,0 contre 0,25, Fries-and-Rack 0,0 contre 0,25, Fold-Cloth 0,0 contre 0,15.
• Avec des interventions humaines pendant l'exécution (10 exécutions), le succès est passé de 0,0 à 0,5 sur Apple-in-Oven et de 0,2 à 0,9 sur Fries-and-Rack.
• Temps de décomposition sur une RTX A6000 : 0,0023 s pour un épisode FrankaKitchen moyen de 227 images et 0,011 s pour une vidéo 720p de 698 images, après l'encodage (0,155 s et 0,450 s).

Limites

• Validé uniquement sur des tâches de manipulation entièrement observables ; les auteurs notent que la navigation et d'autres tâches incarnées partiellement observées pourraient ne pas produire de sous-objectifs intuitifs ou explicables.
• Les tests hors domaine en conditions réelles sont plus courts que les tâches d'entraînement : comme les sous-tâches réelles dépendent séquentiellement les unes des autres, ils testent le saut d'une étape qu'une personne a déjà accomplie.
• La détection des sous-objectifs repose sur un intervalle minimal prédéfini entre sous-objectifs et sur une étape de lissage, et le relais des objectifs à l'inférence repose sur un seuil de distance.
• L'évaluation sur robot réel couvre trois tâches, chacune avec environ 100 démonstrations téléopérées et 20 exécutions par configuration.
• Les gains dépendent de la représentation : le succès dans le domaine avec CLIP et DINOv2 est resté entre 0,32 et 0,39.

Impact sur le domaine

Finaliste du prix IEEE ICRA 2024 Best Paper Award in Robot Vision, avec 44 citations. L'article renvoie à une page de projet et donne en annexe un pseudo-code Python de la décomposition ; il ne fournit pas de lien vers un dépôt de code.

Résumé

Les tâches robotiques du monde réel s'étendent sur de longs horizons et comportent plusieurs étapes. L'apprentissage de tâches de manipulation à long horizon reste toutefois un défi de longue date, et exige de décomposer la tâche globale en plusieurs sous-tâches gérables afin de faciliter l'apprentissage de politiques et la généralisation à des tâches inédites. Les méthodes antérieures de décomposition de tâches nécessitent des connaissances spécifiques à la tâche, sont coûteuses en calcul et ne peuvent pas être appliquées facilement à de nouvelles tâches. Pour remédier à ces lacunes, nous proposons Universal Visual Decomposer (UVD), une méthode de décomposition de tâches prête à l'emploi pour la manipulation visuelle à long horizon, qui utilise des représentations visuelles pré-entraînées conçues pour la commande robotique. Dans les grandes lignes, UVD découvre des sous-objectifs en détectant des changements de phase dans l'espace d'embedding de la représentation pré-entraînée. Fonctionnant uniquement sur des démonstrations visuelles sans information auxiliaire, UVD peut extraire efficacement les sous-objectifs visuels contenus dans les vidéos, sans aucun coût d'entraînement supplémentaire en plus de l'entraînement standard de politiques visuomotrices. Les politiques conditionnées par un objectif apprises avec les sous-objectifs découverts par UVD présentent, au moment du test, une généralisation compositionnelle nettement améliorée à des tâches inédites. En outre, les sous-objectifs découverts par UVD peuvent servir à construire un façonnage de récompense fondé sur les objectifs qui amorce l'exploration temporellement étendue pour l'apprentissage par renforcement. Nous évaluons UVD de manière approfondie sur des tâches en simulation et en conditions réelles, et dans tous les cas, UVD surpasse nettement les baselines, en apprentissage par imitation comme en apprentissage par renforcement, sur des séquences de tâches dans le domaine comme hors domaine, ce qui confirme l'avantage clair de la décomposition visuelle automatisée des tâches au sein du cadre simple et compact d'UVD.

Liens

• arXiv 2310.08581: https://arxiv.org/abs/2310.08581
• DOI 10.1109/ICRA57147.2024.10611125: https://doi.org/10.1109/ICRA57147.2024.10611125
• PDF: https://arxiv.org/pdf/2310.08581v1
• Page du projet: https://zcczhang.github.io/UVD