Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Language-Driven Representation Learning for Robotics

Autores: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

Licencias

  • Acceso abierto
  • Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Voltron combina la reconstrucción enmascarada condicionada por lenguaje con la generación de descripciones sobre Something-Something-v2 y supera a MVP y R3M con los mismos datos en un nuevo conjunto de evaluación robótica de cinco problemas.

Por qué importa

El aprendizaje robótico necesita características visuales para la percepción, el anclaje del lenguaje y el control, no solo para el control. Con los mismos datos de preentrenamiento y la misma capacidad del modelo, el artículo muestra que el lenguaje durante el preentrenamiento mejora los resultados incluso en tareas sin entrada de lenguaje, y aporta un único conjunto de evaluación para comparar representaciones en estos problemas.

Problema

Las representaciones visuales preentrenadas con vídeo humano, como MVP (autocodificado enmascarado) y R3M (aprendizaje contrastivo), se evaluaron principalmente en control visuomotor. Probadas de forma más amplia, son inconsistentes: MVP rinde bien en la predicción de affordances de agarre pero tiene dificultades en la imitación condicionada por lenguaje, mientras que R3M hace lo contrario y se degrada por completo en la predicción de affordances de agarre.

Solución propuesta

Voltron introduce fotogramas de vídeo y sus descripciones en un flujo de autocodificado enmascarado cuyo codificador de transformador incrusta conjuntamente visión y lenguaje. Con probabilidad α genera la descripción a partir del contexto visual en lugar de condicionarse a ella, equilibrando características de reconstrucción de bajo nivel frente a semántica de alto nivel; se estudian tres variantes: V–Cond (un fotograma, α = 0), V–Dual (dos fotogramas, α = 0) y V–Gen (dos fotogramas, α = 0,5). Los autores también construyen un conjunto de evaluación de cinco problemas: predicción de affordances de agarre, anclaje de expresiones referenciales, control visuomotor de una sola tarea en simulación, imitación condicionada por lenguaje en un brazo Franka real y puntuación de intenciones zero-shot.

Ideas clave

  • Condicionar la reconstrucción enmascarada al lenguaje ayuda incluso sin lenguaje en la prueba: V–Cond supera a R-MVP y al MVP más grande (EgoSoup) en la predicción de affordances de agarre.
  • Ninguna variante de Voltron es la mejor en todo: la generación de lenguaje (V–Gen) es necesaria para la puntuación de intenciones pero perjudica algunas tareas de control, y V–Cond, de un solo fotograma, rinde bien en tareas no episódicas pero queda por detrás de los modelos de dos fotogramas en control.
  • El modelado generativo del lenguaje resistió mejor que el modelado de lenguaje enmascarado: un M3AE reproducido sobreajustó su pérdida de lenguaje hasta una perplejidad de 1 en las primeras 20 épocas y obtuvo puntuaciones más bajas en todas las evaluaciones probadas.
  • Fusionar visión y lenguaje dentro del codificador durante el preentrenamiento, en lugar de combinar después codificaciones separadas de texto e imagen, es la explicación de los autores para las grandes mejoras en el anclaje de expresiones referenciales.
  • El pooling por atención multicabeza (MAP) para extraer características mejoró todos los modelos ViT y casi duplicó el éxito en control visuomotor en comparación con el procedimiento de extracción del trabajo original de MVP.

Resultados principales

  • Predicción de affordances de agarre (ARC Grasping, ViT-S): V–Cond obtiene 85,15 / 80,71 / 47,45 de precisión en Top-1 / Top-1% / Top-5%, frente a 72,94 / 61,47 / 39,77 de R-MVP y 40,38 / 40,55 / 28,66 de R-R3M (Tabla 2).
  • Anclaje de expresiones referenciales (OCID-Ref, precisión total con IoU de 0,25): V–Cond 89,38 frente a R-R3M 63,30, R-MVP + DistilBERT 49,58 y CLIP ViT-B 68,35 (Tabla 3).
  • Escalar V–Cond de ViT-S (22M parámetros) a ViT-B (86M) eleva la precisión Top-5% de agarre de 47,45 a 62,33 y la precisión total en expresiones referenciales de 89,38 a 90,77.
  • Ablación (Tabla 4): sin lenguaje, el Top-1% de agarre baja de 80,71 a 65,83, la precisión en expresiones referenciales de 89,38 a 53,44 y el éxito en Franka Kitchen (n = 25) de 38,2 ± 5,09 a 33,1 ± 4,79; R-M3AE obtiene 52,79, 51,61 y 24,0 ± 4,21.
  • Puntuación de intenciones zero-shot en vídeos de WHiRL: V–Gen sigue el progreso de 'abrir el grifo' tanto en vídeos humanos como de robot, mientras que CLIP y R3M dan puntuaciones ruidosas (cualitativo, Figura 7).
  • Imitación condicionada por lenguaje con robot real (5 tareas, 20 demostraciones cada una): los modelos Voltron dan el mayor éxito y, junto con R-MVP, se mantienen robustos ante distractores visuales; estas cifras solo se presentan en la Figura 6.

Limitaciones

  • Los autores no disponían del cómputo para entrenar a la escala de los MVP y R3M originales; las comparaciones directas usan sus propias reproducciones sobre Something-Something-v2, y los modelos oficiales de MVP, R3M y CLIP se marcan como no directamente comparables (según los autores).
  • Ninguna representación es la más fuerte en todas las tareas; siguen existiendo compromisos entre características de bajo y alto nivel (según los autores).
  • Las tasas de éxito absolutas en el control de Franka Kitchen siguen siendo bajas; aprender políticas de lazo cerrado con datos limitados sigue siendo un problema abierto (según los autores).
  • El preentrenamiento usó como máximo contextos de dos fotogramas porque cuatro fotogramas superaban la memoria disponible, y no se evaluó α = 1 (solo generación).
  • Las puntuaciones de intención no son perfectas: después de abrir el grifo, las puntuaciones se mantienen altas en el vídeo humano pero decaen en el vídeo del robot, por razones que los autores no pudieron explicar.

Impacto en el campo

Finalista del premio al mejor artículo de RSS 2023 (Best Paper Award), con 242 citas. Los autores publican los modelos preentrenados V–Cond, V–Dual y V–Gen (además de un V–Cond ViT-Base y checkpoints intermedios), el código de preentrenamiento y de adaptación, los datos preprocesados de Something-Something-v2 con los lotes de entrenamiento exactos y un conjunto de evaluación independiente.

Resumen

Trabajos recientes sobre aprendizaje de representaciones visuales para robótica demuestran la viabilidad de aprender a partir de grandes conjuntos de datos de vídeo de personas realizando tareas cotidianas. Aprovechando métodos como el autocodificado enmascarado y el aprendizaje contrastivo, estas representaciones muestran una fuerte transferencia al aprendizaje de políticas para el control visuomotor. Pero el aprendizaje robótico abarca un conjunto diverso de problemas más allá del control, entre ellos la predicción de affordances de agarre, el aprendizaje por imitación condicionado por lenguaje y la puntuación de intenciones para la colaboración humano-robot. En primer lugar, demostramos que las representaciones existentes dan resultados inconsistentes en estas tareas: los enfoques de autocodificado enmascarado captan características espaciales de bajo nivel a costa de la semántica de alto nivel, mientras que los enfoques de aprendizaje contrastivo captan lo contrario. Después presentamos Voltron, un marco para el aprendizaje de representaciones guiado por el lenguaje a partir de vídeos humanos y sus descripciones asociadas. Voltron equilibra la reconstrucción visual condicionada por lenguaje, para aprender patrones visuales de bajo nivel, y la generación de lenguaje anclada visualmente, para codificar la semántica de alto nivel. También construimos un nuevo conjunto de evaluación que abarca cinco problemas distintos de aprendizaje robótico, una plataforma unificada para evaluar de forma integral las representaciones visuales para robótica. Mediante experimentos exhaustivos y controlados en los cinco problemas, encontramos que las representaciones guiadas por el lenguaje de Voltron superan al estado del arte anterior, especialmente en los problemas específicos que requieren características de más alto nivel.

Enlaces

  • arXiv 2302.12766: https://arxiv.org/abs/2302.12766
  • DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
  • PDF: https://arxiv.org/pdf/2302.12766v1
  • Código: https://github.com/siddk/voltron-robotics
  • Página del proyecto: https://sites.google.com/view/voltron-robotics

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.