Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Autores: I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov · arXiv 2026

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un único VLA de ~4B entrenado en cinco etapas (datos web, preentrenamiento multirrobot, ajuste por robot, RL) controla un humanoide y robots de dos brazos y de un brazo mediante un espacio de acción compartido de 64 posiciones.

Por qué importa

El artículo ofrece recetas concretas y reutilizables para mezclar conjuntos de datos de robots heterogéneos: posiciones de acción unificadas con máscara, alineación de velocidad basada en flujo, métricas de calidad para ponderar los conjuntos de datos y un calendario de muestreo que empieza uniforme. Su etapa de RL mejora una política de flow matching sin retropropagar gradientes de RL al modelo base, y la misma familia de checkpoints se evalúa en un humanoide real, en un robot colaborativo (cobot) real de dos brazos y en dos bancos de pruebas simulados.

Problema

Los conjuntos de datos de robots difieren en la disposición de las observaciones, el espacio de acción y la frecuencia de muestreo, y su calidad varía desde trayectorias temblorosas hasta fotogramas borrosos. Rellenar todas las acciones en un único vector hace que una política multirrobot promedie objetivos incompatibles, y la clonación de comportamiento por sí sola se satura en tareas de horizonte largo y ricas en contacto. Los VLA centrados en el razonamiento que planifican con cadena de pensamiento añaden una latencia que el control en tiempo real no puede permitirse.

Solución propuesta

El entrenamiento se desarrolla por etapas: una base PaliGemma (3B), anclaje multimodal con datos web sobre 24M muestras (L1), preentrenamiento con unas 3000 horas de datos multirrobot (R0), ajuste fino específico de la encarnación (R1) y alineación con RL (R2), que mejora los datos con una función Q y aprende un actor de ruido para el experto de acciones de flow matching. Una cadena DataQA filtra episodios por temblor, nitidez, diversidad y varianza del estado, un remuestreo basado en el flujo óptico iguala la velocidad de movimiento entre conjuntos de datos, y un espacio de acción unificado de 64 dimensiones con máscara y un prompt de encarnación sustituye al relleno con ceros. En la inferencia, la política predice el progreso del episodio, un detector OOD de mezcla gaussiana empuja los estados de vuelta hacia la distribución de entrenamiento, y un módulo de predicción articular eleva a 3D un objetivo 2D señalado por un VLM y guía el flow matching hacia él.

Ideas clave

• Rellenar con ceros acciones heterogéneas en un único vector añade una pérdida espuria en las dimensiones no usadas; enmascarar la pérdida según una disposición semántica fija la elimina y permite que una sola política mantenga juntas la semántica articular y la cartesiana.
• Empezar con una mezcla uniforme de conjuntos de datos y moverla gradualmente hacia los pesos objetivo impide que los conjuntos grandes dominen un optimizador de alto momento y borren las encarnaciones poco frecuentes.
• Reflejar los episodios según la simetría bilateral del robot e invertir en el tiempo las habilidades reversibles amplió 48 horas de grabaciones del humanoide a 167 horas efectivas de entrenamiento.
• Guiar el muestreador de flow matching hacia un punto objetivo 3D anclado en el lenguaje mejora la recogida del artículo exacto mucho más de lo que logra la política por sí sola.
• La alineación con RL que edita trayectorias con gradientes de Q o aprende la distribución del ruido de origen mejora el éxito sin que los gradientes de RL toquen los pesos del modelo base.

Resultados principales

• Limpieza de mesa real con AgileX Cobot Magic, checkpoint R0 sin ajuste fino frente a métodos de referencia ajustados durante 20 000 iteraciones: éxito en el primer artículo del 69,5 % frente al 38,4 % de AgiBot GO-1 y al 35,6 % de π0, y tiempo medio de despeje de 1m35s frente a 2m59s de π0.
• Media global de Simpler Google Robot: 60,2 (R0), 61,3 (R1) y 71,8 (R2), frente a 56,8 de π0 con ajuste fino, 46,5 de RT-1-X y 33,8 de OpenVLA.
• Éxito medio en Simpler WidowX: 45,0 (R0), 55,2 (R1) y 79,1 (R2), frente a 73,2 de DB-MemVLA y 27,1 de π0 con ajuste fino; el texto da la ganancia de R1 a R2 como un 24 % absoluto.
• Longitud media de cadena en CALVIN ABC→D: 3,6 para π0 R1, 4,18 para Green-VLA R1, 4,53 para Flower R1 y 4,63 para Green-VLA R2.
• Recogida en estanterías de comercio electrónico: el guiado por predicción articular elevó el éxito top-1 del 62,3 % al 95,4 % (nivel de marca), del 36,7 % al 93,1 % (SKU exacto) y del 10,2 % al 72,8 % (SKU no vistos).
• Éxito del humanoide Green en el seguimiento de instrucciones según la fig. 12: recoger 98 %, colocar en la cesta 100 %, recoger de la cesta 77 %, dar al usuario 99 %, entrega en mano 84 %, limpieza completa de la mesa 87 %, media 90 %.

Limitaciones

• Los autores afirman que el rendimiento sigue dependiendo de la fidelidad del retargeting, del sesgo residual de los conjuntos de datos y de una cobertura adecuada de las habilidades diestras.
• No se garantiza que el paso de RL de optimización de trayectorias mejore una trayectoria, por lo que cada trayectoria optimizada la valida un operador que restablece la escena y la vuelve a ejecutar antes de añadirla a los datos.
• En CALVIN, el modelo R1 (ACL 4,18) queda por detrás de Flower R1 (4,53), y el espacio de acción unificado no se usa en este banco de pruebas; R2 llega a 4,63.
• Las cifras de Flower, OpenVLA y RT-1-X en Simpler se toman de informes publicados en lugar de volver a ejecutarse, y los resultados del humanoide se dan como porcentajes sin número de episodios; la leyenda de la fig. 12 menciona configuraciones dentro y fuera del dominio, pero el gráfico muestra una única serie.
• La comparación de limpieza de mesa de R0 enfrenta un Green-VLA sin ajustar a métodos de referencia ajustados con datos de la tarea, y un módulo de razonamiento ligero y las instrucciones multilingües se dejan para trabajo futuro.

Impacto en el campo

Hugging Face daily papers: 311 votos positivos, dentro del 5 % superior de los artículos de robótica de ese sitio en los últimos seis meses. El artículo enlaza un repositorio de código y una página del proyecto.

Resumen

Presentamos Green-VLA, un marco Visión-Lenguaje-Acción por etapas para el despliegue en el mundo real en el robot humanoide Green, que mantiene la generalización entre encarnaciones diversas. Green-VLA sigue un currículo de cinco etapas: (L0) VLM fundacionales, (L1) anclaje multimodal, (R0) preentrenamiento multiencarnación, (R1) adaptación específica de la encarnación y (R2) alineación de la política basada en RL. La progresión construye conocimientos previos semánticos y físicos, aprende affordances compartidas y alinea las políticas para la ejecución de horizonte largo más allá de la clonación de comportamiento. En su núcleo hay una pila unificada de datos y control para flotas de robots. Una cadena escalable de procesamiento de datos que incluye DataQA y alineación temporal filtra y sincroniza 3000 horas de demostraciones; una interfaz de acción unificada y consciente de la encarnación permite que una única política controle humanoides, manipuladores móviles y brazos de base fija; y el controlador VLA se mejora con predicción del progreso del episodio, detección de datos fuera de distribución y un módulo de guiado basado en la predicción articular que generaliza a objetos no vistos. Optimizado para el humanoide Green, Green-VLA generaliza sin ejemplos (zero-shot) a nuevas encarnaciones y alcanza un rendimiento de estado del arte en sistemas bimanuales y en bancos de pruebas, y la alineación con RL aporta mejoras en la tasa de éxito, la robustez y la eficiencia en horizonte largo.

Enlaces

• arXiv 2602.00919: https://arxiv.org/abs/2602.00919
• PDF: https://arxiv.org/pdf/2602.00919v1
• Código: https://github.com/greenvla/GreenVLA
• Página del proyecto: https://greenvla.github.io/