LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

Auteurs: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

LIBERO est un benchmark simulé de 130 tâches de manipulation conditionnées par le langage, avec démonstrations humaines, conçu pour étudier comment les robots transfèrent des connaissances déclaratives et procédurales d'une tâche à l'autre.

Pourquoi c'est important

Comme trois suites séparent les connaissances spatiales, sur les objets et sur les buts, une baisse de performance peut être rattachée au type de connaissance perdu. Les expériences remettent aussi en cause des pratiques courantes : les algorithmes d'apprentissage tout au long de la vie testés avaient un transfert avant plus faible qu'un simple fine-tuning séquentiel, et un préentraînement supervisé naïf pouvait nuire à l'apprentissage tout au long de la vie ultérieur.

Problème

La recherche sur l'apprentissage tout au long de la vie a surtout étudié le transfert de connaissances déclaratives (entités et concepts) dans des tâches de vision et de langage. La prise de décision robotique a aussi besoin de connaissances procédurales, savoir comment agir, et il n'existait aucun moyen d'analyser systématiquement quel type de connaissance un agent transfère ou oublie lorsqu'il échoue après avoir appris de nouvelles tâches.

Solution proposée

LIBERO génère des tâches de façon procédurale au-dessus de robosuite : des modèles de phrases sont extraits des annotations d'activités d'Ego4D, des fichiers de scène PDDL spécifient les objets, les dispositions et les états initiaux, et les buts sont des conjonctions de prédicats comme On(A, B) ou Open(X). Quatre suites sont fournies : LIBERO-Spatial, LIBERO-Object et LIBERO-Goal (10 tâches chacune, chacune isolant un type de connaissance) et LIBERO-100 (90 tâches à horizon court et 10 à horizon long), avec 50 démonstrations téléopérées par tâche. L'étude évalue trois architectures de politique (ResNet-RNN, ResNet-T, ViT-T) et cinq schémas d'apprentissage (fine-tuning séquentiel, ER, EWC, PackNet et apprentissage multitâche) entraînés par clonage comportemental.

Idées clés

• L'architecture de la politique compte autant que l'algorithme d'apprentissage tout au long de la vie : les backbones temporels à transformer (ResNet-T, ViT-T) ont fonctionné bien mieux en moyenne que ResNet-RNN.
• Aucun encodeur visuel n'était le meilleur partout : avec ER, ResNet-T a battu ViT-T sur toutes les suites sauf LIBERO-Object, ce que les auteurs relient au fait que le ViT gère une plus grande variété d'objets.
• Les trois algorithmes d'apprentissage tout au long de la vie avaient un transfert avant plus faible que le fine-tuning séquentiel ; PackNet empêche l'oubli, mais sa capacité par tâche qui diminue l'a pénalisé sur LIBERO-Long.
• Des descriptions de tâches sémantiquement riches encodées avec BERT, CLIP ou GPT-2 n'ont apporté aucun gain statistiquement significatif par rapport aux plongements Task-ID.
• La perte de clonage comportemental est un signal trompeur pour choisir un checkpoint ; EWC avait parfois la perte la plus basse sans bon taux de réussite, il faut donc utiliser le taux de réussite.

Principaux résultats

• Avec ResNet-T, le fine-tuning séquentiel avait le transfert avant le plus élevé sur chaque suite : 0,54 (Long), 0,72 (Spatial), 0,78 (Object) et 0,77 (Goal).
• PackNet avait l'oubli le plus faible (transfert arrière négatif de 0,06–0,17) et la meilleure AUC sur Spatial, Object et Goal (0,63, 0,60, 0,75), mais ER avait la meilleure AUC sur LIBERO-Long (0,32 contre 0,25).
• EWC a obtenu les pires résultats parmi les algorithmes d'apprentissage tout au long de la vie, avec une AUC de 0,02 sur LIBERO-Long et de 0,06 sur Spatial et Goal.
• Sur LIBERO-Long avec PackNet, ViT-T a atteint une AUC de 0,34 contre 0,25 pour ResNet-T et 0,03 pour ResNet-RNN.
• Les plongements linguistiques sur LIBERO-Long (ResNet-T avec ER) ont donné un transfert avant de 0,48 (BERT), 0,52 (CLIP), 0,46 (GPT-2) et 0,50 (Task-ID), sans différence significative.
• Les résultats sont moyennés sur trois graines, chaque tâche étant entraînée pendant 50 époques sur 50 démonstrations et évaluée sur 20 exécutions.

Limites

• Selon les auteurs : les expériences sont une étude initiale, qui laisse ouvertes de meilleures architectures pour l'information spatiale et temporelle, des algorithmes offrant un meilleur transfert avant et un préentraînement qui aide l'apprentissage tout au long de la vie.
• Selon les auteurs : comme l'apprenant tout au long de la vie apprend principalement auprès d'humains, la protection de la vie privée des utilisateurs pourrait devenir cruciale à long terme.
• Les résultats dépendent de l'ordre des tâches : les performances d'ER et de PackNet variaient selon cinq ordres, et la différence était statistiquement significative pour PackNet.
• Toutes les tâches tournent en simulation sur robosuite ; l'article ne rapporte aucune expérience sur robot réel.
• Seul le clonage comportemental à partir de démonstrations est évalué ; l'apprentissage par renforcement est écarté en raison de la difficulté des récompenses éparses.

Impact sur le domaine

Cité 607 fois (nombre tel qu'indiqué). L'article publie la chaîne de génération procédurale de tâches, quatre suites totalisant 130 tâches et des démonstrations téléopérées par des humains pour chaque tâche, le code et les jeux de données étant accessibles depuis le site du projet.

Résumé

L'apprentissage tout au long de la vie offre un paradigme prometteur pour construire un agent généraliste qui apprend et s'adapte tout au long de son existence. Contrairement aux problèmes traditionnels d'apprentissage tout au long de la vie dans les domaines de l'image et du texte, qui impliquent principalement le transfert de connaissances déclaratives sur des entités et des concepts, l'apprentissage tout au long de la vie pour la prise de décision (LLDM) nécessite aussi le transfert de connaissances procédurales, comme les actions et les comportements. Pour faire progresser la recherche sur le LLDM, nous présentons LIBERO, un nouveau benchmark d'apprentissage tout au long de la vie pour la manipulation robotique. Plus précisément, LIBERO met en avant cinq thèmes de recherche clés du LLDM : 1) comment transférer efficacement des connaissances déclaratives, procédurales ou un mélange des deux ; 2) comment concevoir des architectures de politique efficaces et 3) des algorithmes efficaces pour le LLDM ; 4) la robustesse d'un apprenant tout au long de la vie vis-à-vis de l'ordre des tâches ; et 5) l'effet du préentraînement des modèles pour le LLDM. Nous développons une chaîne de génération procédurale extensible qui peut en principe générer une infinité de tâches. À des fins de benchmark, nous créons quatre suites de tâches (130 tâches au total) que nous utilisons pour étudier les thèmes de recherche mentionnés ci-dessus. Pour favoriser un apprentissage économe en échantillons, nous fournissons des données de démonstration de haute qualité téléopérées par des humains pour toutes les tâches. Nos expériences approfondies présentent plusieurs découvertes instructives, voire inattendues : le fine-tuning séquentiel surpasse les méthodes existantes d'apprentissage tout au long de la vie en transfert avant, aucune architecture d'encodeur visuel n'excelle seule dans tous les types de transfert de connaissances, et un préentraînement supervisé naïf peut nuire aux performances des agents dans le LLDM qui suit. Consultez le site https://libero-project.github.io pour le code et les jeux de données.

Liens

• arXiv 2306.03310: https://arxiv.org/abs/2306.03310
• DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
• PDF: https://arxiv.org/pdf/2306.03310v1
• Code: https://github.com/Lifelong-Robot-Learning/LIBERO
• Page du projet: https://libero-project.github.io/