GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

Autores: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

GenAug usa difusión de texto a imagen guiada por profundidad para repintar objetos, distractores y fondos en unas pocas demostraciones reales, de modo que una política de pick-and-place de CLIPort funciona en escenas no vistas.

Por qué importa

Una política entrenada con 10 demostraciones en un único entorno sencillo puede usarse después en escenas reales distintas sin recoger más datos del robot. Las máscaras de los objetos solo se necesitan para las demostraciones, no en el momento de la prueba.

Problema

El aprendizaje robótico necesita conjuntos de datos grandes y diversos, pero la recogida en el mundo real es costosa y muchos conjuntos de datos robóticos proceden de una única configuración con unas pocas horas de datos. Los aumentos estándar, como la variación de color, el desenfoque y el recorte, cubren cambios de apariencia de bajo nivel pero no cambios semánticos como nuevos distractores, fondos o apariencias de objetos.

Solución propuesta

GenAug toma demostraciones RGBD con máscaras de objetos y una pose de cámara calibrada, y usa un modelo preentrenado de difusión de texto a imagen guiado por profundidad para cambiar las texturas de los objetos dentro de una categoría, intercambiar categorías de objetos renderizando primero mallas de Google Scanned Objects y Free3D, añadir distractores comprobados frente a colisiones y repintar los fondos. Como las posiciones del objeto a coger y del destino se mantienen fijas, las etiquetas de acción de pick-and-place originales siguen siendo válidas; cada demostración se aumenta 100 veces y el resultado entrena una política de CLIPort.

Ideas clave

• Las acciones de pick-and-place siguen siendo válidas ante grandes cambios visuales siempre que las posiciones aproximadas del objeto y del destino no cambien, por lo que las imágenes generadas pueden reutilizar las etiquetas de acción originales.
• Renderizar las mallas de los objetos antes de la generación guiada por profundidad mantiene la coherencia 3D de las sustituciones entre categorías; el inpainting simple produjo a menudo imágenes inverosímiles (Apéndice A).
• Los aumentos de copiar y pegar y de fondo aleatorio añaden robustez ante entornos nuevos pero se quedan por detrás de GenAug con objetos no vistos, lo que los autores interpretan como prueba de que importan las escenas físicamente plausibles y semánticamente significativas.
• El éxito aumenta a medida que el número de aumentos por demostración crece de 0 a 10, 50 y 100 (Figura 11).

Resultados principales

• Mundo real, 10 tareas con 10 demostraciones cada una: 85 % de éxito medio en entornos no vistos, 52 % con objetos de destino no vistos y 45 % con objetos a coger no vistos (Tabla I, 10 escenas por condición).
• Comparación en el mundo real con CLIPort entrenado sin GenAug (Tabla II, 5 escenas por condición): 80 % frente a 38 % en entornos no vistos, 54 % frente a 8 % con objetos de destino no vistos y 46 % frente a 10 % con objetos a coger no vistos.
• El resumen y la conclusión informan de una mejora del 40 % en la generalización a escenas y objetos nuevos respecto al entrenamiento sin GenAug.
• Simulación, entornos no vistos con 100 demostraciones (Tabla III): GenAug obtiene 77,6 (TransporterNet) y 71,9 (CLIPort), GenAug con profundidad 91,2 y 73,4, frente a 9,8 y 14,4 sin aumento.
• GenAug no es el mejor método en todas las celdas de la Tabla III; por ejemplo, Random Background obtiene 79,1 frente al 77,6 de GenAug en entornos no vistos con TransporterNet y 100 demostraciones.

Limitaciones

• GenAug no aumenta las etiquetas de acción ni razona sobre el material, la fricción o la deformación; supone que la acción original sigue funcionando y no choca con los objetos añadidos (según los autores).
• No puede garantizar la coherencia visual entre los fotogramas de un vídeo (según los autores).
• Aumentar una escena lleva unos 30 segundos, lo que puede ser poco práctico para métodos como el RL on-policy (según los autores).
• Se producen fallos cuando el objeto y el fondo tienen colores parecidos, cuando un distractor es muy brillante o de color similar, o cuando la mesa tiene demasiados objetos.
• Las demostraciones necesitan máscaras de objetos etiquetadas a mano y una pose de cámara calibrada, además de una biblioteca de mallas de objetos, y el método solo se probó en pick-and-place sobre mesa con una pinza de succión.

Impacto en el campo

Finalista del premio al mejor artículo de sistemas de RSS 2023 (Best System Paper Award), con 165 citas. La página oficial del proyecto, genaug.github.io, enlaza un repositorio de código.

Resumen

Los métodos de aprendizaje robótico tienen potencial para una generalización amplia entre tareas, entornos y objetos. Sin embargo, estos métodos requieren conjuntos de datos grandes y diversos que son caros de recoger en entornos robóticos del mundo real. Para que el aprendizaje robótico generalice, debemos poder aprovechar fuentes de datos o priors más allá de la propia experiencia del robot. En este trabajo planteamos que los modelos generativos de imagen y texto, preentrenados en grandes corpus de datos extraídos de la web, pueden servir como tal fuente de datos. Mostramos que, aunque estos modelos generativos se entrenan con datos en su mayoría no robóticos, pueden ser formas eficaces de aportar priors al proceso de aprendizaje robótico de un modo que permite una generalización amplia. En concreto, mostramos cómo los modelos generativos preentrenados pueden servir como herramientas eficaces para un aumento de datos semánticamente significativo. Aprovechando estos modelos preentrenados para generar aumentos de datos "semánticos" adecuados, proponemos un sistema, GenAug, capaz de mejorar significativamente la generalización de la política. Aplicamos GenAug a tareas de manipulación sobre mesa, mostrando la capacidad de redirigir el comportamiento a escenarios nuevos y requiriendo solo cantidades marginales de datos del mundo real. Demostramos la eficacia de este sistema en varios problemas de manipulación de objetos en el mundo real, con una mejora del 40 % en la generalización a escenas y objetos nuevos.

Enlaces

• arXiv 2302.06671: https://arxiv.org/abs/2302.06671
• DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
• PDF: https://arxiv.org/pdf/2302.06671v1
• Código: https://github.com/genaug/genaug
• Página del proyecto: https://genaug.github.io/