CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

Autores: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Ajustar un modelo de texto a imagen con los trazos simulados de un robot pintor le enseña lo que el robot puede pintar y cómo ampliar la obra humana, y reduce la brecha sim-to-real semántica de 0,241 a 0,035.

Por qué importa

Los grandes modelos de imagen preentrenados no saben nada de las herramientas de un robot concreto, lo que limita en general su uso para la planificación física. El artículo muestra que el ajuste fino con la salida simulada del propio robot codifica esas restricciones, y el código abierto está disponible para las plataformas robóticas XArm, Franka Emika y Rethink Sawyer.

Problema

FRIDA, un sistema anterior de pintura robótica, permite a los usuarios aportar solo un prompt o una imagen inicial, y su planificación guiada por CLIP produce pinturas ruidosas que solo se ajustan vagamente al texto. Los modelos preentrenados de texto a imagen dan imágenes más claras, pero no conocen los límites de pincel, color y trazos del robot, y cuando se les pide editar un lienzo a menudo hacen grandes cambios que sobrescriben la obra existente de la persona.

Solución propuesta

CoFRIDA usa el simulador de FRIDA para pintar imágenes del subconjunto de arte de LAION y después elimina trazos (todos, un subconjunto aleatorio, una región saliente o una región semántica) para crear pares de pintura parcial y completa, descartando los pares cuya pintura simulada tiene un CLIPScore inferior a 0,5 respecto a su pie. Instruct-Pix2Pix se ajusta con una tasa de aprendizaje baja para predecir la pintura completa a partir de la parcial y del texto; en ejecución, propone cómo debería quedar el lienzo, FRIDA planifica los trazos para llegar a ello, y la persona y el robot se turnan hasta que el usuario queda satisfecho.

Ideas clave

• La copintura difiere del inpainting: la edición debe preservar todo el lienzo e interactuar con él, en lugar de reimaginar una región local marcada por el usuario.
• Además de la brecha sim-to-real a nivel de píxel existe una semántica: una imagen que el robot no puede reproducir pierde significado al pintarse, medida aquí como la distancia coseno entre los embeddings CLIP de la imagen generada y de su pintura simulada.
• Tras el ajuste fino, el modelo se adapta a cada configuración: contenido destacado con un pincel grande, pocos colores con una paleta fija o un rotulador, dibujos escasos bajo un límite de trazos.
• Planificar la semántica en el espacio de píxeles con un modelo preentrenado y pasar después el resultado a un planificador de trazos de bajo nivel evita la salida ruidosa de optimizar los trazos directamente contra un objetivo de texto.

Resultados principales

• En 40 casos de copintura por método (dibujos con Sharpie iniciados a partir de 35 trazos simulados), la brecha semántica ∆sem bajó de 0,241 sin ajuste fino a 0,035 con él, y la brecha de píxel ∆pix de 0,195 a 0,052.
• El CLIPScore fue de 0,741 para FRIDA, 0,624 para CoFRIDA y 0,595 sin ajuste fino (BLIPScore 0,192, 0,178, 0,162); FRIDA optimiza directamente el CLIPScore, por lo que los autores consideran que estas puntuaciones la favorecen.
• En una encuesta en MTurk con 24 participantes (4 valoraciones por par de imágenes, 160 comparaciones por línea base), CoFRIDA fue elegido en general como más claramente ajustado al pie que FRIDA y que CoFRIDA sin ajuste fino, aunque muchos participantes consideraron que ninguna de las dos imágenes encajaba.
• En los datos de ajuste fino de LAION, ∆pix tuvo una correlación no significativa con el CLIPScore (Pearson −0.08, p = 0.08), mientras que ∆sem tuvo una correlación negativa significativa (−0.48, p = 2.4e−31), lo que los autores interpretan como que el modelo aprende las capacidades del robot y no una transferencia de estilo.
• Las pinturas reales con acrílicos y con un Sharpie interactuaron con contenido humano ajeno a los datos de ajuste fino, incluida la acuarela, aunque el ajuste fino usó un único medio.

Limitaciones

• Limitado a una interacción por turnos discretos entre persona y robot.
• Las pinturas parciales para el entrenamiento se crean con una eliminación de trazos diseñada a mano; un enfoque de extremo a extremo que aprenda a formarlas podría funcionar mejor.
• Sujeto a los sesgos de Stable Diffusion y de sus datos de entrenamiento, por lo que los autores recomiendan usarlo solo para investigación; tras conocerse la presencia de contenido dañino en LAION, cambiaron el código a COCO sin observar una pérdida de calidad.
• Las brechas sim-to-real se miden respecto a la simulación de FRIDA y no respecto a pinturas reales, porque generar muchas muestras reales era inviable.
• El robot solo puede usar una configuración de pintura (acrílico de 12 colores, acrílico fijo de 4 colores o Sharpie negro) a la vez.

Impacto en el campo

Ganador del IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction, con 32 citas. El código se publica como código abierto en el repositorio de FRIDA y está disponible para las plataformas robóticas XArm, Franka Emika y Rethink Sawyer.

Resumen

Los trabajos previos de pintura y dibujo con robots, como FRIDA, se han centrado en reducir la brecha sim-to-real y ampliar las modalidades de entrada para los usuarios, pero la interacción con estos sistemas suele existir solo en las etapas de entrada. Para dar soporte a la pintura colaborativa interactiva entre humanos y robots, presentamos el marco de pintura robótica Collaborative FRIDA (CoFRIDA), que puede copintar modificando el contenido ya pintado por un colaborador humano e interactuando con él. Para mejorar la alineación texto-imagen —la principal debilidad de FRIDA—, nuestro sistema usa modelos preentrenados de texto a imagen; sin embargo, los modelos preentrenados no funcionan bien en el contexto de la copintura en el mundo real porque (1) no entienden las restricciones y las capacidades del robot y (2) no pueden copintar sin hacer ediciones poco realistas en el lienzo y sobrescribir contenido. Proponemos un procedimiento de ajuste fino autosupervisado que puede abordar ambos problemas, lo que permite usar con robots modelos preentrenados de alineación texto-imagen del estado del arte para hacer posible la copintura en el mundo físico. Nuestro enfoque de código abierto, CoFRIDA, crea pinturas y dibujos que se ajustan al prompt de texto de entrada con más claridad que FRIDA, tanto partiendo de un lienzo en blanco como de uno con obra creada por una persona. De forma más general, nuestro procedimiento de ajuste fino codifica con éxito las restricciones y las capacidades del robot en un modelo fundacional, con resultados prometedores como método eficaz para reducir las brechas sim-to-real.

Enlaces

• arXiv 2402.13442: https://arxiv.org/abs/2402.13442
• DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
• PDF: https://arxiv.org/pdf/2402.13442v1
• Código: https://github.com/cmubig/Frida
• Página del proyecto: https://pschaldenbrand.github.io/cofrida/