Universal Visual Decomposer: Long-Horizon Manipulation Made Easy

Autores: Zichen Zhang, Yunshuang Li, Osbert Bastani, Abhishek Gupta, Dinesh Jayaraman, Yecheng Jason Ma, Luca Weihs · ICRA 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

UVD encuentra subobjetivos en vídeos de demostración donde las distancias entre embeddings visuales preentrenados dejan de disminuir, y luego los usa para el aprendizaje por imitación condicionado por objetivo y la conformación de recompensas.

Por qué importa

UVD solo necesita demostraciones en vídeo y un codificador disponible, y el paso de descomposición añade menos de 0,1 s por trayectoria al entrenamiento estándar de políticas. Los subobjetivos encontrados así permiten que una política entrenada con algunos órdenes de tareas ejecute órdenes no vistos de las mismas subtareas, lo que reduce la necesidad de recoger demostraciones para cada secuencia de tareas.

Problema

La manipulación de horizonte largo sufre errores acumulativos, grandes espacios de observación y de acción y señales de aprendizaje débiles, por lo que las tareas suelen dividirse en subtareas. Los métodos de descomposición existentes necesitan conocimiento específico de la tarea, como la propiocepción o una estructura de subtareas conocida, o requieren modelos generativos de alto coste computacional entrenados con grandes conjuntos de datos, por lo que no pueden aplicarse directamente a simples demostraciones en vídeo.

Solución propuesta

UVD toma un codificador visual preentrenado y congelado (como VIP, R3M o LIV) y trabaja hacia atrás desde el fotograma final: dentro de una subtarea, la distancia de embedding al objetivo actual debería disminuir de forma monótona, así que el fotograma más reciente en el que esa monotonía se rompe pasa a ser el subobjetivo anterior, y el paso se repite hasta el inicio del vídeo. Los subobjetivos descubiertos reetiquetan las demostraciones para la clonación de comportamiento condicionada por objetivo y definen una recompensa de RL como la disminución, en cada paso, de la distancia de embedding al subobjetivo actual. En la prueba, los objetivos se obtienen mediante una búsqueda del vecino más cercano (tarea única) o encadenando una secuencia de subobjetivos dada.

Ideas clave

• Las representaciones entrenadas con vídeos cortos para codificar el progreso de la tarea (VIP, R3M, LIV) dan distancias entre embeddings casi monótonas dentro de una subtarea; a lo largo de varias subtareas, la curva de distancia se estanca en los cambios de fase, lo que marca los límites de las subtareas sin etiquetas.
• VIP y LIV, entrenadas explícitamente para un progreso temporal suave, fueron las que más ganaron con UVD, lo que respalda la afirmación de que las representaciones entrenadas temporalmente se prestan mejor al descubrimiento de subobjetivos que los modelos de imágenes estáticas como CLIP y DINOv2.
• Las elecciones heurísticas de subobjetivos (un fotograma dentro de una ventana fija hacia delante, o de 3 a 5 fotogramas aleatorios) rindieron de forma comparable dentro del dominio, pero perjudicaron la generalización fuera del dominio, porque dan subobjetivos redundantes y menos significativos.
• Las recompensas definidas respecto al lejano fotograma final no guiaron la exploración de RL en una tarea de cuatro etapas; las recompensas por subobjetivo sí lo hicieron.
• Como los embeddings son ruidosos, en la práctica se necesitan un intervalo de tiempo mínimo entre subobjetivos y el suavizado de la curva de distancia (regresión kernel de Nadaraya-Watson).

Resultados principales

• Aprendizaje por imitación en FrankaKitchen con VIP y GCBC: el éxito fuera del dominio subió de 0,035 a 0,188 y la compleción fuera del dominio de 0,236 a 0,566, con el éxito dentro del dominio sin cambios (0,736 frente a 0,737).
• El éxito fuera del dominio mejoró con todas las representaciones probadas: R3M de 0,014 a 0,084, LIV de 0,008 a 0,066, CLIP de 0,005 a 0,073, DINOv2 de 0,012 a 0,055 y, con una política de transformador de estilo GPT sobre VIP, de 0,039 a 0,213.
• RL en FrankaKitchen con PPO: el RL condicionado por objetivo con el fotograma final como objetivo alcanzó un éxito de 0,0; con las recompensas de UVD, el éxito medio/máximo en 3 semillas fue de 0,65/1,0 con VIP y de 0,649/1,0 con R3M.
• Franka real, éxito fuera del dominio en 20 ejecuciones (GCBC frente a GCBC + UVD): Apple-in-Oven 0,0 frente a 0,25, Fries-and-Rack 0,0 frente a 0,25, Fold-Cloth 0,0 frente a 0,15.
• Con interferencia humana durante la ejecución (10 ejecuciones), el éxito pasó de 0,0 a 0,5 en Apple-in-Oven y de 0,2 a 0,9 en Fries-and-Rack.
• Tiempo de descomposición en una RTX A6000: 0,0023 s para un episodio medio de FrankaKitchen de 227 fotogramas y 0,011 s para un vídeo 720p de 698 fotogramas, tras la codificación (0,155 s y 0,450 s).

Limitaciones

• Validado solo en tareas de manipulación totalmente observables; los autores señalan que la navegación y otras tareas corporizadas parcialmente observadas podrían no dar subobjetivos intuitivos o explicables.
• Las pruebas reales fuera del dominio son más cortas que las tareas de entrenamiento: como las subtareas reales dependen secuencialmente unas de otras, evalúan saltarse un paso que una persona ya ha completado.
• La detección de subobjetivos depende de un intervalo mínimo prefijado entre subobjetivos y de un paso de suavizado, y el encadenamiento de objetivos en la inferencia depende de un umbral de distancia.
• La evaluación con robot real abarca tres tareas, cada una con unas 100 demostraciones teleoperadas y 20 ejecuciones por configuración.
• Las mejoras dependen de la representación: el éxito dentro del dominio con CLIP y DINOv2 se mantuvo entre 0,32 y 0,39.

Impacto en el campo

Finalista del IEEE ICRA 2024 Best Paper Award in Robot Vision, con 44 citas. El artículo enlaza una página del proyecto y da en su apéndice el pseudocódigo en Python de la descomposición; no da un enlace a un repositorio de código.

Resumen

Las tareas robóticas del mundo real se extienden a lo largo de horizontes amplios y abarcan múltiples etapas. Sin embargo, aprender tareas de manipulación de horizonte largo es un reto desde hace tiempo, y exige descomponer la tarea global en varias subtareas manejables para facilitar el aprendizaje de políticas y la generalización a tareas no vistas. Los métodos previos de descomposición de tareas requieren conocimiento específico de la tarea, son computacionalmente costosos y no pueden aplicarse fácilmente a tareas nuevas. Para abordar estas carencias, proponemos Universal Visual Decomposer (UVD), un método de descomposición de tareas listo para usar para la manipulación visual de horizonte largo, que emplea representaciones visuales preentrenadas diseñadas para el control robótico. A grandes rasgos, UVD descubre subobjetivos detectando cambios de fase en el espacio de embeddings de la representación preentrenada. Al operar exclusivamente sobre demostraciones visuales sin información auxiliar, UVD puede extraer de forma eficaz los subobjetivos visuales contenidos en los vídeos, sin incurrir en ningún coste de entrenamiento adicional sobre el entrenamiento estándar de políticas visuomotoras. Las políticas condicionadas por objetivo aprendidas con los subobjetivos descubiertos por UVD muestran una generalización composicional significativamente mejor en el momento de la prueba ante tareas no vistas. Además, los subobjetivos descubiertos por UVD pueden usarse para construir una conformación de recompensas basada en objetivos (reward shaping) que impulsa desde el inicio la exploración temporalmente extendida en el aprendizaje por refuerzo. Evaluamos UVD extensamente tanto en tareas de simulación como del mundo real y, en todos los casos, UVD supera sustancialmente a las líneas base en entornos de aprendizaje por imitación y por refuerzo, tanto en secuencias de tareas dentro del dominio como fuera de él, lo que valida la clara ventaja de la descomposición visual automatizada de tareas dentro del marco UVD, sencillo y compacto.

Enlaces

• arXiv 2310.08581: https://arxiv.org/abs/2310.08581
• DOI 10.1109/ICRA57147.2024.10611125: https://doi.org/10.1109/ICRA57147.2024.10611125
• PDF: https://arxiv.org/pdf/2310.08581v1
• Página del proyecto: https://zcczhang.github.io/UVD