Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

PaLM-E: An Embodied Multimodal Language Model

Autores: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023

Licencias

  • Acceso abierto
  • Artículo: arXiv.org perpetual, non-exclusive license 1.0

Según la licencia de arXiv, todo lo que sigue está escrito solo a partir del resumen.

Resumen

Los grandes modelos de lenguaje destacan en una amplia gama de tareas complejas. Sin embargo, permitir la inferencia general en el mundo real, por ejemplo para problemas de robótica, plantea el desafío del anclaje. Proponemos modelos de lenguaje encarnados que incorporan directamente modalidades continuas de sensores del mundo real en los modelos de lenguaje y establecen así el vínculo entre palabras y perceptos. La entrada de nuestro modelo de lenguaje encarnado son oraciones multimodales que intercalan codificaciones de entradas visuales, de estimación de estado continua y textuales. Entrenamos estas codificaciones de extremo a extremo, junto con un gran modelo de lenguaje preentrenado, para múltiples tareas encarnadas, entre ellas la planificación secuencial de manipulación robótica, la respuesta visual a preguntas y la descripción de imágenes. Nuestras evaluaciones muestran que PaLM-E, un único gran modelo multimodal encarnado, puede abordar diversas tareas de razonamiento encarnado, a partir de diversas modalidades de observación, en múltiples morfologías y, además, presenta transferencia positiva: el modelo se beneficia de un entrenamiento conjunto diverso en los dominios de lenguaje, visión y visión-lenguaje a escala de internet. Nuestro modelo más grande, PaLM-E-562B, con 562 mil millones de parámetros, además de estar entrenado en tareas de robótica, es un generalista de visión-lenguaje con un rendimiento de vanguardia en OK-VQA, y conserva capacidades lingüísticas generalistas a medida que aumenta la escala.

Enlaces

  • arXiv 2303.03378: https://arxiv.org/abs/2303.03378
  • PDF: https://arxiv.org/pdf/2303.03378

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.