What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Auteurs: Ajay Mandlekar, Danfei Xu, Josiah Wong, Soroush Nasiriany, Chen Wang, Rohun Kulkarni, Li Fei-Fei, Silvio Savarese, Yuke Zhu, Roberto Martín-Martín · CoRL 2021

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Six algorithmes d'apprentissage hors ligne testés sur 5 tâches de manipulation simulées et 3 réelles : BC-RNN, dépendant de l'historique, apprend le mieux à partir de démonstrations humaines, tandis que le RL par lots peine sur les données humaines.

Pourquoi c'est important

Pour quiconque collecte des données téléopérées, l'étude donne des réglages concrets : utiliser une politique dépendante de l'historique, inclure une caméra au poignet et une randomisation d'image par décalage de pixels, garder des entrées proprioceptives réduites, et s'attendre à ce que la sélection de checkpoint par perte de validation retienne une politique plus faible. Des hyperparamètres réglés en simulation ont été appliqués à un bras Franka réel sans réglage en conditions réelles et ont tout de même produit des politiques Lift et Can fonctionnelles.

Problème

L'apprentissage par imitation et l'apprentissage par renforcement par lots (hors ligne) à partir de démonstrations humaines manquaient de jeux de données humains open source et d'implémentations reproductibles pour la manipulation robotique, si bien qu'il était difficile de juger quelles méthodes et quels choix de conception fonctionnent. Les démonstrations humaines diffèrent des données générées par machine : elles peuvent ne pas être markoviennes, leur qualité varie entre opérateurs, et la perte d'entraînement n'est qu'un substitut du taux de réussite de la tâche utilisé à l'évaluation.

Solution proposée

Les auteurs ont collecté via RoboTurk des démonstrations téléopérées pour cinq tâches simulées (Lift, Can, Square, Transport, Tool Hang) sous forme de jeux de données Proficient-Human à un seul opérateur (200 démos) et Multi-Human à six opérateurs (300 démos), ainsi que des jeux de données générés par machine pour Lift et Can et des jeux de données réels de 200 démos sur un bras Franka pour Lift, Can et Tool Hang. Ils ont entraîné BC, BC-RNN, HBC, BCQ, CQL et IRIS sur des observations à faible dimension et des images, évalué chaque checkpoint en ligne en simulation, et fait varier l'espace d'observation, les hyperparamètres, la taille du jeu de données et la règle de sélection de politique.

Idées clés

• Les modèles dépendants de l'historique (BC-RNN, HBC, IRIS) apprennent bien mieux à partir de démonstrations humaines que le BC simple ; l'écart entre BC-RNN et BC croît avec l'horizon de la tâche (environ 55 % sur Transport (PH) contre environ 5 % sur Square (PH)) et avec des données de plusieurs opérateurs.
• BCQ et CQL réussissent bien sur des données de qualité mixte générées par machine, mais obtiennent de mauvais résultats sur les jeux de données humains, même sur un jeu de diagnostic de démonstrations réussies et échouées appariées provenant d'un seul opérateur.
• La conception des observations compte : ajouter la vitesse de l'effecteur terminal ou les états articulaires a réduit les performances des agents à faible dimension de 49 %–88 % (en relatif), tandis que retirer la randomisation par décalage de pixels ou la caméra au poignet a nui aux agents sur images.
• Sélectionner un checkpoint par la plus faible perte de validation ou par la dernière époque a donné des politiques 10 % à 100 % moins bonnes que le meilleur checkpoint, si bien que la sélection hors ligne de politique reste un problème ouvert.
• Les tâches simples (Lift, Can) ont atteint 75 %–100 % de réussite avec 20 % des données, tandis que les tâches complexes (Square, Transport) continuaient de s'améliorer à mesure que les données augmentaient.

Principaux résultats

• BC-RNN sur données Proficient-Human à faible dimension (3 graines) : Lift 100 %, Can 100 %, Square 84,0 %, Transport 71,3 %, Tool Hang 19,3 %.
• BC-RNN sur observations images : Square (PH) 82,0 %, Transport (PH) 72,0 %, Tool Hang (PH) 67,3 %, contre 41,3 %, 0,7 % et 3,3 % pour BCQ.
• Sur les données Multi-Human à faible dimension, BCQ a atteint 62,7 % sur Can et 14,0 % sur Square, contre 100 % et 78,0 % pour BC-RNN.
• Sur les mélanges Square de 200 démos de qualité d'opérateur variable, BC-RNN a obtenu 55,3 %, 73,3 % et 74,0 %, en dessous de ses 84,0 % sur le jeu de données Square (PH) à un seul opérateur de 200 démos.
• Bras Franka réel, BC-RNN, dernier checkpoint sur 30 déroulements, aucun réglage en conditions réelles : Lift 96,7 %, Can 73,3 %, Tool Hang 3,3 %.
• Sur la tâche Can réelle, retirer la randomisation par décalage de pixels a fait chuter la réussite à 26,7 % et retirer la caméra au poignet à 43,3 %.

Limites

• Les résultats en simulation rapportent le meilleur checkpoint trouvé en évaluant chaque checkpoint en ligne, ce que les auteurs signalent comme irréalisable sur un robot réel ; les résultats réels utilisent plutôt le dernier checkpoint.
• Les expériences réelles couvrent trois tâches avec 30 déroulements chacune et sans réglage d'hyperparamètres en conditions réelles ; les auteurs qualifient ces résultats de borne inférieure, et la politique Tool Hang réelle a réussi dans 3,3 % des déroulements.
• Les jeux de données générés par machine n'existent que pour Lift et Can, car l'agent RL n'a pas pu résoudre les autres tâches, même avec un réglage substantiel.
• L'étude compare six algorithmes existants plutôt que de proposer une solution ; combler l'écart du RL par lots sur les données humaines et améliorer la sélection hors ligne de politique sont laissés à des travaux futurs.
• La copie PMLR renvoie à des annexes (détails des tâches, Tables 27 et 28 sur la taille des jeux de données, hyperparamètres de BCQ et CQL) qui n'y sont pas incluses.

Impact sur le domaine

Cité 548 fois (chiffre tel qu'indiqué). Les auteurs ont publié en open source les jeux de données et toutes les implémentations d'algorithmes sur la page du projet, offrant un ensemble partagé de tâches de manipulation à démonstrations humaines et de baselines pour comparer les méthodes d'apprentissage hors ligne.

Résumé

Imiter des démonstrations humaines est une approche prometteuse pour doter les robots de diverses capacités de manipulation. Bien que des progrès récents aient été réalisés en apprentissage par imitation et en apprentissage par renforcement par lots (hors ligne), le manque de jeux de données humains open source et de méthodes d'apprentissage reproductibles rend difficile l'évaluation de l'état du domaine. Dans cet article, nous menons une étude approfondie de six algorithmes d'apprentissage hors ligne pour la manipulation robotique sur cinq tâches de manipulation multi-étapes simulées et trois réelles de complexité variable, et avec des jeux de données de qualité variable. Notre étude analyse les défis les plus critiques de l'apprentissage à partir de données humaines hors ligne pour la manipulation. Sur la base de cette étude, nous dégageons une série d'enseignements, notamment la sensibilité aux différents choix de conception algorithmique, la dépendance à la qualité des démonstrations et la variabilité liée aux critères d'arrêt en raison des objectifs différents à l'entraînement et à l'évaluation. Nous mettons également en avant les opportunités de l'apprentissage à partir de jeux de données humains, comme la capacité à apprendre des politiques performantes sur des tâches multi-étapes difficiles, hors de portée des méthodes actuelles d'apprentissage par renforcement, et la capacité à passer facilement à l'échelle de scénarios de manipulation naturels et réels où seuls des signaux sensoriels bruts sont disponibles. Nous avons publié en open source nos jeux de données et toutes les implémentations d'algorithmes afin de faciliter les recherches futures et les comparaisons équitables en apprentissage à partir de données de démonstrations humaines, à l'adresse https://arise-initiative.github.io/robomimic-web/

Liens

• arXiv 2108.03298: https://arxiv.org/abs/2108.03298
• DOI https://doi.org/10.48550/arxiv.2108.03298: https://doi.org/https://doi.org/10.48550/arxiv.2108.03298
• PDF: https://proceedings.mlr.press/v164/mandlekar22a/mandlekar22a.pdf
• Page du projet: https://arise-initiative.github.io/robomimic-web/