Foundation models in robotics: Applications, challenges, and the future

Autores: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0.

En resumen

Revisión de los modelos fundacionales en robótica, agrupados en toma de decisiones y control, percepción e IA corporeizada (embodied AI), que concluye con ocho retos abiertos, desde la escasez de datos hasta la seguridad y el uso en tiempo real.

Por qué importa

Los ingenieros que deciden si usar un LLM, un VLM o un transformador robótico en un robot pueden apoyarse en las categorías de la revisión y en su tabla II, que recoge números de parámetros y frecuencias de inferencia, como 1-3 Hz para RT-2 frente a 20 Hz para Gato. La sección de retos nombra preocupaciones prácticas de despliegue: modelos solo en la nube y latencia de red, alucinaciones, incertidumbre calibrada y pruebas de seguridad. Los autores también afirman que muchos resultados de toma de decisiones son difíciles de comparar porque dependen de pilas de hardware personalizadas o de simuladores sin física.

Problema

Los modelos de aprendizaje profundo en robótica se han entrenado normalmente con conjuntos de datos pequeños recopilados para una sola tarea, lo que limita lo bien que se adaptan a nuevas tareas y entornos. Los modelos fundacionales preentrenados con datos a escala de internet han generalizado bien en lenguaje y visión, y los investigadores en robótica han empezado a incorporarlos a robots, a adaptarlos para ellos o a construirlos para ellos. El trabajo en este ámbito está repartido entre percepción, planificación y control, sin un mapa único de lo que se ha probado y de lo que sigue sin resolverse.

Solución propuesta

Se trata de una revisión y no propone ningún método propio. Limita su alcance a artículos de contexto, artículos de robótica (modelos fundacionales usados de forma plug-and-play, ajustados o construidos desde cero para robots) y artículos afines a la robótica, y cubre el contexto de los modelos fundacionales, la toma de decisiones y el control de robots (aprendizaje por imitación condicionado por lenguaje, RL asistido por lenguaje, aprendizaje de valores, planificación de tareas con LLM y generación de código, aprendizaje en contexto, transformadores robóticos, navegación y manipulación de vocabulario abierto), la percepción (detección de vocabulario abierto, segmentación, representación de escenas 3D, affordances, modelos predictivos) y la IA corporeizada (embodied AI) con sus simuladores. Concluye con retos y direcciones futuras, y tabula el tamaño, la velocidad de inferencia y el hardware de entrenamiento de los modelos preentrenados específicos para robots.

Ideas clave

• La revisión clasifica el trabajo en robótica en tres formas de usar los modelos fundacionales: uso plug-and-play de modelos existentes, su adaptación o ajuste fino, y la construcción de nuevos modelos fundacionales específicos para robots.
• Las habilidades físicas que aprenden los transformadores robóticos actuales se limitan a la distribución de habilidades presentes en los datos del robot; los autores sugieren los datos de movimiento de vídeos de personas como una vía para superar este límite.
• Muchos modelos fundacionales solo son accesibles a través de API en la nube, por lo que la latencia depende de redes que el robot no controla; los autores sugieren una autonomía local de respaldo y la destilación en modelos más pequeños a bordo.
• Para robots críticos para la seguridad, los autores sostienen que las estimaciones de incertidumbre deben estar calibradas en sentido frecuentista, y presentan el uso de la predicción conformal en KnowNo como caso de estudio.
• Los simuladores sin física como Gibson, Habitat, RoboTHOR y VirtualHome sacrifican la física de bajo nivel a cambio de fidelidad visual, lo que los autores relacionan con una gran brecha sim-to-real y una escasa reproducibilidad.

Resultados principales

• Como revisión, no presenta experimentos propios; su lista de referencias llega a 233 entradas entre artículos de contexto, de robótica y afines a la robótica.
• La tabla II recoge modelos preentrenados específicos para robots con su tamaño y frecuencia de inferencia, por ejemplo RT-1 con 35M parámetros y 3 Hz, RT-2 y RT-2-X con 55B parámetros y 1-3 Hz en un servicio en la nube con varias TPU, Gato con 1,2B y 20 Hz, y ViNT con 31M y 4 Hz.
• La misma tabla recoge PACT (12M parámetros) a 10 Hz en un ordenador de borde Nvidia Xavier NX y a 50 Hz en 8 GPU Nvidia V100, y PaLM-E-562B con subobjetivos de lenguaje a 1 Hz más control de bajo nivel a 5 Hz.
• La revisión indica que RT-1 se entrenó con más de 130k episodios de robots reales que cubren más de 700 tareas, recopilados durante 17 meses con 13 robots.
• La revisión indica que el conjunto de datos RT-X combina datos de 22 robots y 21 instituciones y cubre 527 habilidades (160.266 tareas).
• Enumera ocho áreas de retos: escasez de datos, rendimiento en tiempo real, límites de la representación multimodal, cuantificación de la incertidumbre, evaluación de la seguridad, plug-and-play frente a construir modelos nuevos, alta variabilidad en los entornos robóticos, y benchmarking y reproducibilidad.

Limitaciones

• Los autores llaman a esta versión una versión preliminar que piensan actualizar, de modo que refleja el campo a fecha de diciembre de 2023.
• El alcance se limita a tres categorías de artículos (contexto, robótica, afines a la robótica), y los autores señalan un alcance mucho más estrecho que el de revisiones más amplias sobre modelos fundacionales.
• Los autores afirman que los artículos de la sección de toma de decisiones son más difíciles de evaluar y comparar que los de las secciones de percepción o de IA corporeizada (embodied AI), porque dependen de pilas de hardware personalizadas o de simuladores sin física.
• La tabla II tiene campos vacíos donde los artículos de origen no aportan datos, por lo que la velocidad de inferencia y el hardware no están disponibles para todos los modelos.

Impacto en el campo

La revisión tiene 471 citas. Junto con ella, los autores publicaron un proyecto de GitHub, Awesome-Robotics-Foundation-Models, que describen como una versión preliminar que piensan seguir actualizando.

Resumen

Revisamos las aplicaciones de los modelos fundacionales preentrenados en robótica. Los modelos tradicionales de aprendizaje profundo en robótica se entrenan con conjuntos de datos pequeños adaptados a tareas específicas, lo que limita su adaptabilidad a aplicaciones diversas. En cambio, los modelos fundacionales preentrenados con datos a escala de internet parecen tener capacidades de generalización superiores y, en algunos casos, muestran una capacidad emergente para encontrar soluciones zero-shot a problemas que no están presentes en los datos de entrenamiento. Los modelos fundacionales podrían tener el potencial de mejorar diversos componentes de la pila de autonomía del robot, desde la percepción hasta la toma de decisiones y el control. Por ejemplo, los grandes modelos de lenguaje pueden generar código o aportar razonamiento de sentido común, mientras que los modelos de visión y lenguaje permiten el reconocimiento visual de vocabulario abierto. Sin embargo, siguen existiendo importantes retos de investigación abiertos, en particular en torno a la escasez de datos de entrenamiento relevantes para robots, las garantías de seguridad y la cuantificación de la incertidumbre, y la ejecución en tiempo real. En esta revisión estudiamos artículos recientes que han usado o construido modelos fundacionales para resolver problemas de robótica. Exploramos cómo contribuyen los modelos fundacionales a mejorar las capacidades de los robots en los ámbitos de la percepción, la toma de decisiones y el control. Discutimos los retos que dificultan la adopción de modelos fundacionales en la autonomía robótica y ofrecemos oportunidades y posibles vías para avances futuros. El proyecto de GitHub correspondiente a este artículo (versión preliminar. Nos comprometemos a seguir mejorando y actualizando este trabajo para garantizar su calidad y relevancia) puede encontrarse aquí: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

Enlaces

• arXiv 2312.07843: https://arxiv.org/abs/2312.07843
• DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
• PDF: https://arxiv.org/pdf/2312.07843v1
• Página del proyecto: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models