Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

VIMA: General Robot Manipulation with Multimodal Prompts

Autores: Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan · ICML 2023

Licencias

  • Acceso abierto
  • Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Plantea las tareas de manipulación como prompts que intercalan texto e imágenes, añade el benchmark VIMA-Bench y propone un agente con tokens de objetos y atención cruzada que generaliza mejor que los diseños al estilo de Gato.

Por qué importa

Una única interfaz de prompts abarca alcanzar objetivos, imitar un vídeo de una sola toma, anclar conceptos nuevos y satisfacer restricciones, de modo que una sola política puede entrenarse y compararse en todas ellas. Los estudios de ablación ofrecen pautas de diseño concretas: los tokens de objetos de longitud variable y el condicionamiento por atención cruzada superan a los tokenizadores de píxeles en bruto y al condicionamiento de solo decodificador, sobre todo en modelos pequeños y tareas nuevas.

Problema

Las tareas robóticas se especifican de distintas formas, como demostraciones de una sola toma, instrucciones en lenguaje natural y objetivos visuales, y suelen abordarse con modelos especializados con arquitecturas, objetivos y canalizaciones de datos distintos. Ningún benchmark ofrecía un conjunto de tareas con prompts multimodales junto con una prueba sistemática de la generalización.

Solución propuesta

Las tareas se escriben como prompts que intercalan texto e imágenes. VIMA codifica el prompt con un codificador T5-Base preentrenado, convierte las imágenes en tokens de objetos (cuadros delimitadores de Mask R-CNN más recortes codificados con ViT) y decodifica poses discretizadas del efector final para recoger y colocar o empujar con un transformador que alterna autoatención causal y atención cruzada al prompt. Se entrena mediante clonación de comportamiento en VIMA-Bench, una extensión de Ravens/PyBullet con 17 plantillas de tareas, 650.000 trayectorias expertas exitosas (50.000 por tarea, sección 3; el resumen lo redondea a más de 600.000) y un protocolo de generalización de cuatro niveles.

Ideas clave

  • Los tokens de objetos superan a los tokenizadores de píxeles en bruto (parches de imagen, Image Perceiver, un solo token por imagen); los autores plantean la hipótesis de que los tokenizadores de píxeles gastan capacidad en extraer los objetos a partir de los píxeles.
  • Reducir los objetos a un número fijo de tokens (Object Perceiver) es significativamente peor que pasar la secuencia de objetos de longitud variable, incluso con las mismas entradas de cuadros delimitadores.
  • El condicionamiento por atención cruzada importa sobre todo con tamaños de modelo pequeños y en las tareas nuevas de L4; una variante de solo decodificador alcanza un rendimiento comparable en modelos más grandes.
  • El tamaño del codificador del prompt (T5 small 30M, base 111M, large 368M) no supuso una diferencia significativa, por lo que T5-Base es el predeterminado.
  • Con aumento de objetos (detecciones de falsos positivos inyectadas al azar), el Mask R-CNN ajustado pierde poco rendimiento en comparación con los cuadros reales.

Resultados principales

  • Controlador de 200 millones de parámetros: 81,5% (L1), 81,5% (L2), 78,7% (L3) y 48,6% (L4) de éxito medio en VIMA-Bench, frente al 58,0%, 53,1%, 46,0% y 16,8% de VIMA-Gato.
  • L4 (tareas nuevas) con un controlador de 20 millones de parámetros: 48,8% para VIMA frente al 12,3% de VIMA-Gato, la base de la mejora relativa de 'hasta 2,9×'.
  • Entrenado con el 10% de los datos, VIMA alcanza el 46% en L4, frente al 12,2% de VIMA-Gato entrenado con el conjunto de datos completo (la cifra de '2,7×').
  • Con el 1% de los datos, VIMA rinde de forma similar a las líneas base entrenadas con 10× más datos en L1 y L2.
  • Al pasar a niveles más difíciles, VIMA muestra una regresión mínima de L1 a L2 y L3, mientras que las líneas base se degradan hasta un 20%; su caída en L4 es la mitad que la de las líneas base.

Limitaciones

  • Depende de un detector de objetos independiente y hereda sus errores, que pueden surgir con oclusiones o con formas de objetos fuera de la distribución.
  • Realismo del simulador y complejidad de las tareas limitados: VIMA-Bench se centra en la capacidad multitarea, la generalización y la comprensión multimodal, no en el realismo físico.
  • Primitivas de acción limitadas: solo las acciones de alto nivel de recoger y colocar y de empujar/limpiar de Transporter; un control de más bajo nivel, como los pares articulares, requeriría modificaciones.
  • Todos los experimentos son en simulación; el artículo no presenta experimentos propios con robots reales.
  • Todos los métodos, VIMA incluido, se degradan significativamente en las tareas nuevas de L4, donde VIMA se mantiene por debajo del 50% de éxito medio.

Impacto en el campo

Publicado en ICML 2023. Semantic Scholar contabiliza 655 citas (14 de noviembre de 2026). Los autores publican como código abierto el entorno de simulación (VIMA-Bench), el conjunto de datos de entrenamiento, el código del algoritmo y los checkpoints del modelo preentrenado.

Resumen

El aprendizaje basado en prompts se ha consolidado como un paradigma exitoso en el procesamiento del lenguaje natural, donde a un único modelo de lenguaje de propósito general se le puede indicar que realice cualquier tarea especificada mediante prompts de entrada. Sin embargo, en robótica la especificación de tareas adopta diversas formas, como imitar demostraciones de una sola toma, seguir instrucciones en lenguaje natural y alcanzar objetivos visuales. A menudo se consideran tareas distintas y se abordan con modelos especializados. Mostramos que un amplio espectro de tareas de manipulación robótica puede expresarse con prompts multimodales que intercalan tokens textuales y visuales. En consecuencia, desarrollamos un nuevo benchmark de simulación que consta de miles de tareas de mesa generadas proceduralmente con prompts multimodales, más de 600.000 trayectorias expertas para aprendizaje por imitación y un protocolo de evaluación de cuatro niveles para la generalización sistemática. Diseñamos un agente robótico basado en transformadores, VIMA, que procesa estos prompts y produce acciones motoras de forma autorregresiva. VIMA incorpora una receta que logra una gran escalabilidad del modelo y eficiencia de datos. Supera a diseños alternativos en el escenario de generalización zero-shot más difícil hasta en 2,9× la tasa de éxito en las tareas con los mismos datos de entrenamiento. Con 10× menos datos de entrenamiento, VIMA sigue rindiendo 2,7× mejor que la mejor variante competidora. El código y los vídeos de demostración están disponibles en https://vimalabs.github.io/

Enlaces

  • arXiv 2210.03094: https://arxiv.org/abs/2210.03094
  • PDF: https://arxiv.org/pdf/2210.03094v2
  • Código: https://github.com/vimalabs/VIMA
  • Página del proyecto: https://vimalabs.github.io/

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.