Foundation models in robotics: Applications, challenges, and the future

Auteurs: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0.

En bref

Revue des modèles de fondation en robotique, regroupés en prise de décision et commande, perception et IA incarnée (embodied AI), qui se conclut par huit défis ouverts, de la rareté des données à la sécurité et à l'usage en temps réel.

Pourquoi c'est important

Les ingénieurs qui se demandent s'il faut utiliser un LLM, un VLM ou un transformer robotique dans un robot peuvent s'appuyer sur les catégories de la revue et sur son tableau II, qui recense le nombre de paramètres et les fréquences d'inférence, par exemple 1-3 Hz pour RT-2 contre 20 Hz pour Gato. La section consacrée aux défis nomme des préoccupations pratiques de déploiement : modèles accessibles uniquement dans le cloud et latence réseau, hallucinations, incertitude calibrée et tests de sécurité. Les auteurs indiquent aussi que de nombreux résultats en prise de décision sont difficiles à comparer car ils dépendent de chaînes matérielles sur mesure ou de simulateurs sans physique.

Problème

Les modèles d'apprentissage profond en robotique ont généralement été entraînés sur de petits jeux de données collectés pour une seule tâche, ce qui limite leur capacité d'adaptation à de nouvelles tâches et à de nouveaux contextes. Les modèles de fondation pré-entraînés sur des données à l'échelle d'internet ont bien généralisé en langage et en vision, et les chercheurs en robotique ont commencé à les brancher sur des robots, à les adapter aux robots ou à en construire pour les robots. Les travaux du domaine sont dispersés entre perception, planification et commande, sans carte unique de ce qui a été tenté et de ce qui reste non résolu.

Solution proposée

Il s'agit d'une revue qui ne propose aucune méthode propre. Elle limite son périmètre aux articles de contexte, aux articles de robotique (modèles de fondation utilisés en plug-and-play, affinés ou construits spécifiquement pour les robots) et aux articles connexes à la robotique, et couvre le contexte des modèles de fondation, la prise de décision et la commande des robots (apprentissage par imitation conditionné par le langage, RL assisté par le langage, apprentissage de valeur, planification de tâches et génération de code par LLM, apprentissage en contexte, transformers robotiques, navigation et manipulation à vocabulaire ouvert), la perception (détection et segmentation à vocabulaire ouvert, représentation de scènes 3D, affordances, modèles prédictifs) et l'IA incarnée (embodied AI) avec ses simulateurs. Elle se conclut par les défis et les orientations futures, et présente sous forme de tableau la taille, la vitesse d'inférence et le matériel d'entraînement des modèles pré-entraînés propres à la robotique.

Idées clés

• La revue classe les travaux de robotique selon trois façons d'utiliser les modèles de fondation : l'usage plug-and-play de modèles existants, leur adaptation ou leur affinage, et la construction de nouveaux modèles de fondation propres à la robotique.
• Les compétences physiques apprises par les transformers robotiques actuels sont limitées à la distribution des compétences présentes dans les données robotiques ; les auteurs suggèrent les données de mouvement issues de vidéos humaines comme une voie pour dépasser cette limite.
• De nombreux modèles de fondation ne sont accessibles que via des API cloud, si bien que la latence dépend de réseaux que le robot ne contrôle pas ; les auteurs suggèrent une autonomie locale de repli et la distillation vers des modèles embarqués plus petits.
• Pour les robots critiques pour la sécurité, les auteurs soutiennent que les estimations d'incertitude doivent être calibrées au sens fréquentiste, et présentent l'usage de la prédiction conforme par KnowNo comme étude de cas.
• Les simulateurs sans physique comme Gibson, Habitat, RoboTHOR et VirtualHome sacrifient la physique de bas niveau au profit de la fidélité visuelle, ce que les auteurs relient à un écart sim-to-real important et à une faible reproductibilité.

Principaux résultats

• En tant que revue, elle ne rapporte aucune expérience propre ; sa bibliographie compte 233 références réparties entre articles de contexte, de robotique et connexes à la robotique.
• Le tableau II recense les modèles pré-entraînés propres à la robotique avec leur taille et leur fréquence d'inférence, par exemple RT-1 avec 35M paramètres et 3 Hz, RT-2 et RT-2-X avec 55B paramètres et 1-3 Hz sur un service cloud multi-TPU, Gato avec 1.2B et 20 Hz, et ViNT avec 31M et 4 Hz.
• Le même tableau indique PACT (12M paramètres) à 10 Hz sur un ordinateur embarqué Nvidia Xavier NX et à 50 Hz sur 8 GPU Nvidia V100, et PaLM-E-562B avec des sous-buts langagiers à 1 Hz et une commande de bas niveau à 5 Hz.
• La revue rapporte que RT-1 a été entraîné sur plus de 130k épisodes robotiques réels couvrant plus de 700 tâches, collectés sur 17 mois avec 13 robots.
• La revue rapporte que le jeu de données RT-X combine des données de 22 robots et 21 institutions, couvrant 527 compétences (160 266 tâches).
• Elle recense huit domaines de défis : rareté des données, performance en temps réel, limites de la représentation multimodale, quantification de l'incertitude, évaluation de la sécurité, plug-and-play contre construction de nouveaux modèles, forte variabilité des contextes robotiques, et évaluation comparative et reproductibilité.

Limites

• Les auteurs qualifient cette version de publication préliminaire qu'ils comptent mettre à jour ; elle reflète donc le domaine en décembre 2023.
• Le périmètre est limité à trois catégories d'articles (contexte, robotique, connexes à la robotique), et les auteurs notent un périmètre bien plus étroit que celui de revues plus larges sur les modèles de fondation.
• Les auteurs indiquent que les articles de la section sur la prise de décision sont plus difficiles à évaluer et à comparer que ceux des sections sur la perception ou l'IA incarnée (embodied AI), car ils reposent sur des chaînes matérielles sur mesure ou des simulateurs sans physique.
• Le tableau II comporte des champs vides là où les articles sources ne rapportent pas de données, si bien que la vitesse d'inférence et le matériel ne sont pas disponibles pour tous les modèles.

Impact sur le domaine

La revue compte 471 citations. En parallèle, les auteurs ont publié un projet GitHub, Awesome-Robotics-Foundation-Models, qu'ils décrivent comme une version préliminaire qu'ils comptent continuer à mettre à jour.

Résumé

Nous passons en revue les applications des modèles de fondation pré-entraînés en robotique. Les modèles d'apprentissage profond traditionnels en robotique sont entraînés sur de petits jeux de données adaptés à des tâches spécifiques, ce qui limite leur capacité d'adaptation à des applications diverses. À l'inverse, les modèles de fondation pré-entraînés sur des données à l'échelle d'internet semblent posséder des capacités de généralisation supérieures et, dans certains cas, font preuve d'une capacité émergente à trouver des solutions zero-shot à des problèmes absents des données d'entraînement. Les modèles de fondation pourraient avoir le potentiel d'améliorer divers composants de la chaîne d'autonomie d'un robot, de la perception à la prise de décision et à la commande. Par exemple, les grands modèles de langage peuvent générer du code ou fournir un raisonnement de sens commun, tandis que les modèles vision-langage permettent la reconnaissance visuelle à vocabulaire ouvert. Toutefois, d'importants défis de recherche restent ouverts, notamment la rareté des données d'entraînement pertinentes pour la robotique, les garanties de sécurité et la quantification de l'incertitude, ainsi que l'exécution en temps réel. Dans cette revue, nous étudions des articles récents qui ont utilisé ou construit des modèles de fondation pour résoudre des problèmes de robotique. Nous examinons comment les modèles de fondation contribuent à améliorer les capacités des robots dans les domaines de la perception, de la prise de décision et de la commande. Nous discutons des défis qui freinent l'adoption des modèles de fondation dans l'autonomie robotique et présentons des opportunités et des pistes possibles pour de futures avancées. Le projet GitHub correspondant à cet article (version préliminaire. Nous nous engageons à continuer d'améliorer et de mettre à jour ce travail pour en garantir la qualité et la pertinence) se trouve ici : https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

Liens

• arXiv 2312.07843: https://arxiv.org/abs/2312.07843
• DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
• PDF: https://arxiv.org/pdf/2312.07843v1
• Page du projet: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models