R3M: A Universal Visual Representation for Robot Manipulation

Autores: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

R3M preentrena un codificador ResNet congelado con vídeos y subtítulos de Ego4D; la clonación de comportamiento sobre él supera a las características de CLIP, MoCo e ImageNet en 12 tareas simuladas y en un Franka real con 20 demostraciones.

Por qué importa

El codificador se publica como pesos preentrenados de ResNet18, ResNet34 y ResNet50 que se cargan con una sola llamada, de modo que un equipo puede entrenar políticas de manipulación basadas en imágenes a partir de unas pocas demostraciones sin recopilar datos del dominio para la parte de visión. Las tareas con el robot real se aprendieron en el apartamento de un estudiante de posgrado a partir de 20 demostraciones teleoperadas cada una.

Problema

Entrenar de extremo a extremo políticas de manipulación basadas en imágenes con datos del dominio objetivo requiere muchos datos y generaliza mal. La robótica no tiene un modelo visual preentrenado, comparable a las características de ImageNet o a BERT, que se pueda descargar y reutilizar para cualquier tarea de manipulación, y los conjuntos de datos de robots existentes cubren un número limitado de tareas en, como mucho, un puñado de entornos.

Solución propuesta

R3M entrena un codificador de imágenes ResNet con Ego4D, más de 3.500 horas de vídeo humano egocéntrico con anotaciones de lenguaje, usando tres términos: una pérdida contrastiva temporal para que los fotogramas cercanos en el tiempo tengan embeddings cercanos, una pérdida de alineamiento vídeo-lenguaje que puntúa si el cambio del primer fotograma de un clip a un fotograma posterior coincide con su descripción, y penalizaciones L1 y L2 para obtener embeddings dispersos y compactos. Después el codificador se congela, y las políticas posteriores se entrenan por clonación de comportamiento como un MLP de dos capas sobre el embedding de la imagen concatenado con la propiocepción del robot.

Ideas clave

• El vídeo humano cotidiano (Ego4D) sirve como datos de preentrenamiento para representaciones visuales de robots, aunque la corporeidad (embodiment) difiera de la del robot.
• Los tres términos de entrenamiento contribuyen; quitar el alineamiento vídeo-lenguaje provoca la mayor caída, de 62,4 % a 53,2 % de media entre entornos y de 65,0 % a 45,6 % en Adroit.
• Los datos por sí solos no explican la mejora: MoCo entrenado con los mismos fotogramas de Ego4D obtiene alrededor de un 10 % menos que R3M, y el modelo MVP alrededor de un 20 % menos, en Franka Kitchen y Adroit.
• La penalización de dispersión ayuda en Franka Kitchen y MetaWorld, pero quitarla ayuda ligeramente en Adroit, lo que los autores sospechan que se debe a que Adroit usa más demostraciones.
• La ventaja de R3M se mantiene en todos los puntos de vista de cámara y tamaños de conjunto de demostraciones probados, mientras que el orden entre CLIP y MoCo (345) cambia con el punto de vista.

Resultados principales

• En 12 tareas simuladas en MetaWorld, Franka Kitchen y Adroit, R3M alcanza alrededor de un 62 % de éxito medio, más de un 20 % por encima de entrenar desde cero y más de un 10 % por encima de las características de CLIP, ImageNet supervisado y MoCo (345).
• R3M es el mejor método en los 3 entornos de simulación y en 11 de 12 tareas.
• Ablación (Tabla 1, todos los dominios): R3M completo 62,4 %, sin aumento por recorte 60,4 %, sin penalización L1 59,4 %, sin alineamiento de lenguaje 53,2 %.
• Datos frente a objetivo (Tabla 2): Franka Kitchen 53,1 % para R3M, 42,0 % para MoCo entrenado con Ego4D, 27,0 % para MVP; Adroit 65,0 %, 54,9 % y 51,4 %.
• Franka Emika Panda real, 20 demostraciones y 10 intentos por tarea: R3M promedia un 56 % frente al 24 % de CLIP (cerrar un cajón 80 % vs 70 %, mascarilla en la cómoda 30 % vs 10 %, lechuga en la sartén 60 % vs 0 %, empujar una taza 70 % vs 40 %, doblar una toalla 40 % vs 0 %).

Limitaciones

• La evaluación se limita al aprendizaje por imitación, en concreto a la clonación de comportamiento con un número pequeño de demostraciones; una buena representación preentrenada para el aprendizaje por refuerzo puede diferir de una para la imitación.
• R3M proporciona solo una representación de estado de un único fotograma; usarla, o su módulo de anclaje en el lenguaje, para el aprendizaje de recompensas o la especificación de tareas queda para trabajo futuro.
• La línea base MoCo (345) está configurada de forma distinta a la de Parisi et al. (propiocepción, apilado de fotogramas), por lo que sus cifras no son directamente comparables entre ambos trabajos.
• La comparación con el robot real cubre solo R3M y CLIP, con 10 intentos por tarea.
• Las tasas de éxito en simulación son el mejor valor alcanzado en evaluaciones cada 1.000 pasos de entrenamiento, promediado sobre semillas, puntos de vista y tamaños de conjunto de demostraciones.

Impacto en el campo

Citado 541 veces. Los autores publican modelos R3M preentrenados con backbones ResNet18, ResNet34 y ResNet50 junto con el código de entrenamiento.

Resumen

Estudiamos cómo las representaciones visuales preentrenadas con datos de vídeo humano diversos pueden permitir un aprendizaje eficiente en datos de tareas posteriores de manipulación robótica. En concreto, preentrenamos una representación visual con el conjunto de datos de vídeo humano Ego4D usando una combinación de aprendizaje contrastivo temporal, alineamiento vídeo-lenguaje y una penalización L1 para fomentar representaciones dispersas y compactas. La representación resultante, R3M, se puede usar como módulo de percepción congelado para el aprendizaje de políticas posterior. En un conjunto de 12 tareas de manipulación robótica simuladas, encontramos que R3M mejora el éxito en las tareas en más de un 20 % frente a entrenar desde cero y en más de un 10 % frente a representaciones visuales del estado del arte como CLIP y MoCo. Además, R3M permite a un brazo Franka Emika Panda aprender una serie de tareas de manipulación en un apartamento real y desordenado con solo 20 demostraciones.

Enlaces

• arXiv 2203.12601: https://arxiv.org/abs/2203.12601
• DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
• PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
• Código: https://github.com/facebookresearch/r3m
• Página del proyecto: https://sites.google.com/view/robot-r3m