GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

Autores: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un modelo de estilo GPT preentrenado para predecir vídeo con 38M clips de la web y ajustado después para producir fotogramas futuros y trayectorias de acción; 97,7 % de éxito en 105 tareas reales de sobremesa.

Por qué importa

El informe muestra que el vídeo de la web puede aportar buena parte del conocimiento que, de otro modo, una política de manipulación necesitaría de los datos de robots: GR-2 alcanza un 73,9 % de éxito en 105 tareas con solo unas 50 demostraciones por tarea y aproximadamente duplica el éxito de GR-1 con fondos y cocinas no vistos. Sus pruebas de bin picking con 122 objetos, incluidos objetos transparentes, deformables y reflectantes, apuntan a una tarea industrial que, según señalan los autores, puede ser difícil para los métodos basados en modelos.

Problema

Recoger datos de robots a gran escala es lento y los sistemas con robots reales escalan mal, lo que limita lo general que puede llegar a ser una política de manipulación. Un agente generalista tiene que aprender muchas habilidades y aun así desenvolverse con fondos, entornos, objetos e instrucciones nuevos. El anterior GR-1 de los autores mostró que el preentrenamiento con generación de vídeo ayuda al aprendizaje de políticas, pero usaba 0,8 millones de vídeos y generalizaba mal a escenas no vistas.

Solución propuesta

GR-2 es un transformador de estilo GPT condicionado por lenguaje: un codificador de texto congelado tokeniza la instrucción, un VQGAN congelado convierte cada fotograma en tokens discretos y los estados del robot (pose del efector final y estado de la pinza) pasan por capas lineales. Primero se preentrena para predecir fotogramas futuros con 38 millones de clips de texto y vídeo (más de 50 mil millones de tokens según el resumen, aproximadamente 50 mil millones según la Sección 2.1) procedentes de conjuntos de datos de actividad humana y de conjuntos de datos públicos de robots, y después se ajusta con datos de robots multivista para predecir imágenes futuras junto con una trayectoria de acción procedente de un VAE condicional. En el brazo real, un algoritmo de control de cuerpo completo suaviza la trayectoria cartesiana y la convierte en comandos articulares ejecutados a 200 Hz con restricciones de colisión.

Ideas clave

• Escalar el preentrenamiento de los 0,8 millones de vídeos de GR-1 a 38 millones de clips, junto con una arquitectura diseñada para llevar el conocimiento preentrenado al ajuste fino, aproximadamente duplicó el éxito de GR-1 en los escenarios Unseen Backgrounds y Unseen Environments.
• Se comprobó que generar trayectorias de acción en lugar de acciones de un solo paso es crucial tanto para la suavidad de la trayectoria como para el rendimiento en tiempo real.
• Los vídeos predichos se ajustan mucho a las ejecuciones reales, de modo que la salida de acciones en la práctica 'reproduce' el vídeo predicho; los autores sugieren mejorar la generación de vídeo como vía para obtener mejores acciones.
• El aumento sintético de datos (inserción de objetos basada en difusión, sustitución del fondo basada en SAM, regeneración de vídeo) elevó el éxito en Unseen Environments del 71,7 % al 87,0 %.
• La pérdida de validación de la predicción de vídeo y la tasa de éxito en el robot real mejoraron ambas a medida que los parámetros entrenables crecieron de 30M a 719M.

Resultados principales

• Aprendizaje multitarea: 97,7 % de éxito medio en 105 tareas de sobremesa que cubren 8 habilidades en el escenario Simple, tras un ajuste fino con unas 40.000 trayectorias teleoperadas.
• Generalización: 71,4 % en Unseen Backgrounds y 71,7 % en Unseen Environments, aproximadamente el doble que GR-1; con aumento de datos, 87,0 % en Unseen Environments y 74,7 % de media en los tres escenarios de generalización; 55,8 % en Unseen Manipulation.
• Entrenamiento con pocos datos, con unas 50 trayectorias por tarea (aproximadamente 1/8 de los datos): 73,9 % en el escenario Simple, superando a GR-1 en los tres escenarios de generalización.
• Bin picking de extremo a extremo entrenado con unas 94.000 trayectorias de 55 objetos y probado con 122 objetos (67 no vistos): éxito medio del 79,0 % frente al 33,3 % de GR-1.
• CALVIN ABCD→D: 98,6 % de éxito para 1 tarea y 85,9 % para 5 tareas seguidas (GR-1: 94,9 % y 73,1 %), con una longitud media que sube de 4,21 a 4,64.
• El modelo por defecto tiene 230M parámetros, 95M de ellos entrenables; los experimentos de escalado usan 30M, 95M, 312M y 719M parámetros entrenables.

Limitaciones

• Los autores identifican la manipulación no vista como el área más débil (55,8 %); los fallos típicos son no coger objetos no vistos de formas nuevas y coger el objeto equivocado cuando se pide uno no visto.
• El trabajo futuro que indican es mejorar la generalización y la robustez de la predicción de acciones, sobre todo para objetos nuevos y habilidades nuevas.
• Todos los resultados en robot real proceden de una única plataforma, un brazo Kinova Gen3 con una pinza Robotiq 2F-85; no se prueba la transferencia a otras encarnaciones.
• El informe no da cifras de cómputo de entrenamiento, hardware de inferencia ni latencia de la política, y la mayoría de los números por escenario solo aparecen en figuras.
• El texto no indica ninguna publicación del código, de los pesos del modelo ni de los conjuntos de datos de robots.

Impacto en el campo

Este informe técnico de ByteDance Research tiene 377 citas. Enlaza a una página del proyecto (gr2-manipulation.github.io); el texto no indica que se publique el código, los pesos del modelo ni los datos.

Resumen

Presentamos GR-2, un agente robótico generalista de última generación para una manipulación robótica versátil y generalizable. GR-2 se preentrena primero con una enorme cantidad de vídeos de Internet para capturar la dinámica del mundo. Este preentrenamiento a gran escala, con 38 millones de clips de vídeo y más de 50 mil millones de tokens, dota a GR-2 de la capacidad de generalizar a una amplia gama de tareas y entornos robóticos durante el posterior aprendizaje de la política. A continuación, GR-2 se ajusta tanto para la generación de vídeo como para la predicción de acciones usando trayectorias de robots. Muestra unas capacidades de aprendizaje multitarea impresionantes y alcanza una tasa de éxito media del 97,7 % en más de 100 tareas. Además, GR-2 demuestra una generalización excepcional a escenarios nuevos y no vistos antes, incluidos fondos, entornos, objetos y tareas nuevos. En particular, GR-2 escala eficazmente con el tamaño del modelo, lo que subraya su potencial de crecimiento y aplicación continuos. Página del proyecto: https://gr2-manipulation.github.io.

Enlaces

• arXiv 2410.06158: https://arxiv.org/abs/2410.06158
• DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
• PDF: https://arxiv.org/pdf/2410.06158v1
• Página del proyecto: https://gr2-manipulation.github.io/