OpenVLA

Modelo de Visión-Lenguaje-Acción de 7B parámetros para manipulación robótica

Licencia

MIT

Resumen

Un modelo de Visión-Lenguaje-Acción de código abierto de 7B parámetros para manipulación robótica. OpenVLA está entrenado con 970k demostraciones de robots del mundo real y supera a RT-2-X (55B) en un 16,5 % de tasa absoluta de éxito en 29 tareas, con 7 veces menos parámetros. Construido sobre el modelo de lenguaje Llama 2 combinado con los codificadores visuales DINOv2 y SigLIP, puede ajustarse en GPU de consumo y muestra una gran capacidad de generalización en entornos multitarea, con una sólida capacidad de anclaje del lenguaje.

OpenVLA es un modelo de Visión-Lenguaje-Acción (VLA) de código abierto de 7B parámetros diseñado para la manipulación robótica de propósito general. Entrenado con 970.000 demostraciones de robots del mundo real en 29 tareas, alcanza un rendimiento de vanguardia y es 7 veces más pequeño que modelos comparables como RT-2-X (55B parámetros). Construido sobre el modelo de lenguaje Llama 2 combinado con los codificadores visuales DINOv2 y SigLIP, OpenVLA muestra una capacidad de generalización excepcional en entornos multitarea y puede ajustarse en GPU de consumo, lo que pone la IA robótica avanzada al alcance de investigadores y desarrolladores de todo el mundo.

Por qué importa

OpenVLA demostro que un modelo de 7 mil millones de parametros puede superar a modelos mucho mas grandes (RT-2-X con 55 mil millones) en manipulacion robotica, haciendo que los modelos de vision-lenguaje-accion sean practicos en hardware de consumo. Probo que los modelos fundacionales de robotica de codigo abierto pueden competir con alternativas propietarias.

Qué problema resuelve

Los modelos fundacionales de robotica anteriores como RT-2-X requerian una capacidad de computo enorme (55 mil millones de parametros), haciendolos inaccesibles para la mayoria de los investigadores. OpenVLA demuestra que las arquitecturas eficientes pueden lograr mejores resultados a una fraccion del costo, democratizando la investigacion en modelos fundacionales roboticos.

Puntos clave

• Supera a RT-2-X (55 mil millones) en un 16,5 % con 7 veces menos parámetros
• Construido sobre Llama 2 + DINOv2 + SigLIP: aprovecha backbones de LLM y de visión probados
• Ajustable con LoRA en una sola GPU (los autores usan una A100)
• Entrenado con 970K demostraciones de robots del mundo real
• Un sólido anclaje del lenguaje permite seguir instrucciones en 29 tareas

Para quién es

• Investigadores de ML con presupuestos de computo limitados
• Laboratorios de robotica que ajustan modelos para tareas especificas
• Estudiantes que exploran modelos de vision-lenguaje-accion
• Empresas que evaluan enfoques de modelos fundacionales roboticos

Limitaciones

• Entrenado principalmente en manipulacion sobre mesa: limitado a escenarios similares
• Requiere GPU para inferencia (no apto para despliegue en el borde sin optimizacion)
• El ajuste fino aun requiere datos de demostracion con robots reales
• El anclaje lingueistico funciona mejor con instrucciones de tareas simples