Open Source Robotics

Une collection organisée de projets, outils et logiciels robotiques open source de haute qualité.

PaLM-E: An Embodied Multimodal Language Model

Auteurs: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023

Licences

  • Accès libre
  • Article: arXiv.org perpetual, non-exclusive license 1.0

Selon la licence d'arXiv, tout ce qui suit est rédigé à partir du seul résumé.

Résumé

Les grands modèles de langage excellent dans un large éventail de tâches complexes. Cependant, permettre une inférence générale dans le monde réel, par exemple pour des problèmes de robotique, pose le défi de l'ancrage. Nous proposons des modèles de langage incarnés qui intègrent directement des modalités de capteurs continues du monde réel dans les modèles de langage et établissent ainsi le lien entre les mots et les perceptions. L'entrée de notre modèle de langage incarné est constituée de phrases multimodales qui entrelacent des encodages d'entrées visuelles, d'estimation d'état continue et de texte. Nous entraînons ces encodages de bout en bout, conjointement avec un grand modèle de langage préentraîné, pour plusieurs tâches incarnées, dont la planification séquentielle de manipulation robotique, la réponse visuelle à des questions et le sous-titrage d'images. Nos évaluations montrent que PaLM-E, un seul grand modèle multimodal incarné, peut traiter une variété de tâches de raisonnement incarné, à partir de diverses modalités d'observation, sur plusieurs incarnations, et qu'il présente en outre un transfert positif : le modèle tire profit d'un entraînement conjoint diversifié sur des domaines du langage, de la vision et de la vision-langage à l'échelle d'Internet. Notre plus grand modèle, PaLM-E-562B, doté de 562 milliards de paramètres, est non seulement entraîné sur des tâches robotiques, mais aussi un généraliste vision-langage aux performances état de l'art sur OK-VQA, et il conserve des capacités linguistiques généralistes à mesure que l'échelle augmente.

Liens

  • arXiv 2303.03378: https://arxiv.org/abs/2303.03378
  • PDF: https://arxiv.org/pdf/2303.03378

Ce site nécessite JavaScript. Veuillez activer JavaScript pour explorer nos projets de robotique open source.