MimicPlay: Long-Horizon Imitation Learning by Watching Human Play

Auteurs: Chen Wang, Linxi Fan, Jiankai Sun, Ruohan Zhang, Li Fei-Fei, Danfei Xu, Yuke Zhu, Anima Anandkumar · CoRL 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

MimicPlay apprend un planificateur latent à partir de 10 minutes de vidéo de jeu humain avec les mains et un contrôleur transformer guidé par le plan à partir de quelques démonstrations téléopérées, ce qui augmente la réussite à long horizon sur un bras Franka.

Pourquoi c'est important

Les données de jeu humain ne nécessitent ni robot, ni étiquettes de tâche, ni réinitialisation de l'environnement : un humain termine en environ 5 secondes ce qui prend 90 secondes en téléopération robotique, et 10 minutes de jeu équivalent à peu près à un jeu de données de téléopération de 3 heures. Comme le mouvement humain et les compétences du robot partagent un même espace de plans latents, une vidéo humaine peut aussi servir directement d'invite de but pour le robot.

Problème

L'apprentissage par imitation s'est surtout limité à des primitives à court horizon parce que les démonstrations à long horizon sont lentes et laborieuses à collecter. Apprendre à partir de données de jeu robotique aide, mais exige encore des heures de téléopération, par exemple 4,5 heures pour C-BeT et 6 heures pour TACO-RL.

Solution proposée

MimicPlay répartit l'apprentissage selon la source des données. Un planificateur latent conditionné par le but est entraîné sur 10 minutes de vidéo de jeu humain par scène pour prédire les trajectoires 3D futures de la main, suivies avec deux caméras calibrées, au moyen d'une tête à modèle de mélange gaussien (Gaussian Mixture Model), tandis qu'une perte KL aligne les caractéristiques visuelles humaines et robotiques. Une politique transformer de type GPT, entraînée sur 20–40 démonstrations téléopérées par tâche, associe ensuite les plans latents du planificateur figé ainsi que les entrées de la caméra de poignet et proprioceptives à des commandes de l'effecteur terminal et de la pince.

Idées clés

• Les plans de haut niveau peuvent être appris à partir de données de jeu humain peu coûteuses, tandis que la commande de bas niveau provient de démonstrations téléopérées sans écart d'incarnation.
• Une tête GMM est nécessaire pour capturer les trajectoires multimodales de la main humaine ; sans elle, le planificateur généralisait moins bien qu'une variante entraînée sans données humaines.
• Une perte KL sur les distributions de caractéristiques de l'encodeur réduit l'écart visuel entre humain et robot sans données appariées, ce qui donne un recouvrement 23 % plus grand entre les distributions de caractéristiques humaines et robotiques en t-SNE.
• Utiliser les 10 minutes complètes de jeu humain plutôt que la moitié améliore la généralisation à des compositions de sous-objectifs jamais vues.
• Les plans latents préentraînés réduisent la perte liée au passage de l'entraînement mono-tâche à l'entraînement multi-tâches par rapport aux méthodes de bout en bout comme LMP et R3M-BC.

Principaux résultats

• Kitchen, long horizon, les trois tâches (Table 1) : 0,47 de réussite avec 20 démonstrations et 0,70 avec 40 démonstrations, contre au plus 0,07 et 0,17 pour les références et 0,23 / 0,40 pour la variante sans données humaines.
• Study Desk (Table 2, 20 démonstrations) : 0,55 sur les tâches entraînées et 0,47 sur des compositions de tâches jamais vues, contre 0,00 pour GC-BC (BC-trans) et LMP et 0,20 / 0,10 pour la variante sans données humaines.
• Multi-tâches sur Flower, Whiteboard, Sandwich et Cloth (Table 3) : 0,55 avec un seul modèle partagé contre 0,58 avec un modèle par tâche ; LMP chute de 0,13 à 0,05 et R3M de 0,25 à 0,15.
• Sans la perte KL, la réussite sur les tâches entraînées tombe à 0,38 (17 % de moins que 0,55) ; sans le GMM, elle est de 0,28 sur les tâches entraînées et de 0,07 sur les tâches jamais vues.
• Dans la simulation LIBERO, où seules des données de jeu robotique sont disponibles, la variante hiérarchique sans données humaines atteint 0,29–0,67 sur les tâches à long horizon tandis que les références GC-BC obtiennent 0,00 (5 graines, 100 essais).
• L'ensemble du système fonctionne à 17 Hz, assez vite pour replanifier après des perturbations humaines comme le dépliage d'une serviette pliée ; la Section 4 indique une fréquence de commande de 20 Hz et l'annexe donne 17–20 Hz.

Limites

• Les plans latents sont appris à partir de données de jeu humain propres à chaque scène ; un entraînement sur des données à l'échelle d'Internet pourrait améliorer le passage à l'échelle (selon les auteurs).
• Les tâches se limitent à des contextes sur table ; la manipulation mobile n'est pas couverte (selon les auteurs).
• L'apprentissage de représentations entre incarnations peut encore être amélioré, par exemple avec un apprentissage contrastif temporel ou par cohérence cyclique (selon les auteurs).
• En entraînement multi-tâches, la réussite sur le tableau blanc est passée de 0,5 à 0,2, ce que les auteurs attribuent à des démonstrations plus courtes sur le tableau blanc qui déséquilibrent le jeu de données.
• Le suivi 3D de la main nécessite un dispositif calibré à deux caméras, et la composante de jeu humain n'a pas pu être testée en simulation.

Impact sur le domaine

Finaliste du CoRL 2023 Best Systems Paper Award et figurant sur la liste commune des finalistes CoRL 2023 Best Paper / Best Student Paper, avec 415 citations. Le code d'implémentation est publié sur github.com/j96w/MimicPlay, avec des vidéos sur la page du projet.

Résumé

L'apprentissage par imitation à partir de démonstrations humaines est un paradigme prometteur pour enseigner aux robots des compétences de manipulation dans le monde réel. Cependant, apprendre des tâches complexes à long horizon exige souvent une quantité de démonstrations impossible à atteindre. Pour réduire ce besoin élevé en données, nous recourons aux données de jeu humain, des séquences vidéo de personnes interagissant librement avec l'environnement à l'aide de leurs mains. Même avec des morphologies différentes, nous faisons l'hypothèse que les données de jeu humain contiennent des informations riches et saillantes sur les interactions physiques qui peuvent faciliter directement l'apprentissage de politiques robotiques. Dans cette optique, nous présentons un cadre d'apprentissage hiérarchique nommé MimicPlay qui apprend des plans latents à partir de données de jeu humain pour guider une commande visuomotrice de bas niveau entraînée sur un petit nombre de démonstrations téléopérées. Grâce à des évaluations systématiques sur 14 tâches de manipulation à long horizon dans le monde réel, nous montrons que MimicPlay surpasse les méthodes d'apprentissage par imitation de l'état de l'art en taux de réussite, en capacité de généralisation et en robustesse aux perturbations. Le code et les vidéos sont disponibles sur mimic-play.github.io.

Liens

• arXiv 2302.12422: https://arxiv.org/abs/2302.12422
• DOI 10.48550/arXiv.2302.12422: https://doi.org/10.48550/arXiv.2302.12422
• PDF: https://proceedings.mlr.press/v229/wang23a/wang23a.pdf
• Code: https://github.com/j96w/MimicPlay
• Page du projet: https://mimic-play.github.io/