FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

Autores: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un robot pintor que planifica las pinceladas en un simulador diferenciable construido a partir de sus propias pinceladas reales y después replanifica a partir de imágenes de cámara para cumplir objetivos de texto, imagen o boceto.

Por qué importa

El sistema une la generación de contenido mediante modelos de visión preentrenados con la planificación de acciones para un brazo físico, y se adapta a cómo se comportan la pintura y los pinceles reales en lugar de suponer una ejecución perfecta. Como el simulador se ajusta a un pequeño conjunto de pinceladas del propio robot, puede recalibrarse cuando cambian el pincel o los materiales, y los autores afirman que cualquier brazo compatible con ROS con una morfología similar a la del Sawyer podría adaptarse con cambios mínimos en la interfaz.

Problema

La pintura es un proceso dinámico con objetivos semánticos de alto nivel, pero la mayoría de los sistemas de pintura robótica la tratan como una impresión: se elabora de antemano un plan completo de pinceladas y se ejecuta a ciegas. Los sistemas de pintura basados en aprendizaje planifican en simuladores con una gran brecha sim2real, por lo que sus planes de pinceladas dan pinturas pobres o no pueden ejecutarse en un robot real.

Solución propuesta

Durante la calibración, el robot pinta pinceladas aleatorias, y una pequeña red (param2stroke) aprende a asociar tres parámetros de forma de la pincelada (grosor, curvatura, longitud) con su apariencia; junto con una colocación y un estampado diferenciables sobre el lienzo, esto forma un simulador de pintura totalmente diferenciable. Un plan de pinceladas se optimiza por descenso de gradiente frente a pérdidas de texto CLIP, de estilo VGG, por píxel o de características CLIP, y tras cada lote de pinceladas ejecutadas se usa la imagen de cámara del lienzo real para reoptimizar el plan restante.

Ideas clave

• Ajustar el modelo de pincelada a las pinceladas que el robot pintó realmente (real2sim2real) da una brecha sim2real menor que los modelos de pincelada sin restricciones o restringidos a mano de los pintores anteriores basados en aprendizaje.
• Una cadena de renderizado totalmente diferenciable permite que las pérdidas de redes preentrenadas como CLIP y VGG guíen directamente los parámetros de las pinceladas mediante descenso de gradiente.
• Reoptimizar el plan restante a partir de imágenes de cámara después de cada lote de pinceladas permite que el plan se adapte a una ejecución estocástica; sin replanificación, la desviación respecto al plan inicial crece linealmente pincelada a pincelada.
• Una pérdida de replicación semántica sobre características convolucionales de CLIP capturó el contenido objetivo mejor que una pérdida L2 por píxel en una encuesta de crowdsourcing.
• Ordenar las pinceladas de claro a oscuro reduce el tiempo de limpieza del pincel y evita que el pincel arrastre pintura oscura húmeda hacia las zonas claras.

Resultados principales

• Distancia L1 media entre pinceladas modeladas y reales en 50 muestras: 0,012 (pinceladas de entrenamiento) y 0,018 (pinceladas de prueba) para param2stroke frente a 0,028 y 0,028 para DiffVG; la diferencia es significativa con p < .01.
• Brecha sim2real en un retrato, medida como MSE entre el plan simulado y la pintura real: 0,029 para FRIDA frente a 0,066 para Schaldenbrand & Oh 2021 y 0,156 para Huang et al. 2019.
• En una encuesta a 103 participantes de Amazon Mechanical Turk, el 73,3 % (pregunta de replicación) y el 68,3 % (pregunta de contenido de alto nivel) prefirieron las pinturas hechas con el Semantic Replication Objective; ambos valores están significativamente por encima del 50 % con p = 0.01.
• El error del modelo de pincelada disminuye de forma constante a medida que se usan más pinceladas de calibración, con mejoras pequeñas a partir de unas 100 pinceladas de entrenamiento/validación (evaluado en 42 pinceladas reservadas).
• Las tareas demostradas en el robot real incluyen pintar a partir de una descripción en lenguaje con el estilo de una imagen de ejemplo, pintar conceptualmente una imagen objetivo y pintar a partir de un boceto del usuario.

Limitaciones

• El modelo de pintura está simplificado: opciones de color discretas, pinceladas supuestas independientes, sin modelado de la humedad de la pintura ni de cuánta pintura hay en el pincel, y el pincel se mantiene fijo perpendicular al lienzo.
• La noción de proceso creativo dinámico del sistema está mucho más restringida que aquella en la que se inspira; todavía no explora ni crea estilos nuevos.
• No hay mezcla automática de pintura: una persona mezcla y suministra la paleta discreta, y las posiciones del lienzo, las pinturas, el agua y el trapo se programan explícitamente.
• La cantidad de pintura en el pincel es la mayor variable no modelada y añade ruido al modelo de pincelada.
• La instalación necesita iluminación indirecta y difusa para evitar los reflejos de la pintura húmeda, y la calibración requiere que una persona marque las esquinas del lienzo y fije el toque más ligero y el más fuerte del pincel.

Impacto en el campo

Finalista del premio ICRA 2023 Outstanding Deployed Systems Paper, con 56 citas. El conjunto completo de software de FRIDA se publica como código abierto.

Resumen

La pintura es un proceso artístico de representación de contenido visual que alcanza los objetivos comunicativos de alto nivel de un artista, que pueden cambiar dinámicamente a lo largo del proceso creativo. En este artículo presentamos un Framework and Robotics Initiative for Developing Arts (FRIDA) que permite a las personas producir pinturas sobre lienzo colaborando con un robot pintor mediante entradas sencillas, como descripciones en lenguaje o imágenes. FRIDA introduce varias innovaciones técnicas para modelar computacionalmente un proceso creativo de pintura. En primer lugar, desarrollamos un entorno de simulación de pintura totalmente diferenciable, adoptando la idea de pasar de lo real a la simulación y de nuevo a lo real (real2sim2real). Mostramos que el entorno de pintura simulado que proponemos tiene mayor fidelidad a la realidad que los entornos de simulación existentes usados para la pintura robótica. En segundo lugar, para modelar la dinámica cambiante de un proceso creativo, desarrollamos un enfoque de planificación que puede optimizar continuamente el plan de pintura a partir del lienzo en evolución con respecto a los objetivos de alto nivel. A diferencia de los enfoques existentes, en los que el proceso de generación de contenido y la planificación de acciones se realizan de forma independiente y secuencial, FRIDA se adapta a la naturaleza estocástica del uso de pintura y pincel replanificando y reevaluando continuamente sus objetivos semánticos a partir de su percepción visual del avance de la pintura. Describimos los detalles del enfoque técnico, así como la integración del sistema. El software FRIDA está disponible gratuitamente en: https://pschaldenbrand.github.io/frida/.

Enlaces

• arXiv 2210.00664: https://arxiv.org/abs/2210.00664
• DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
• PDF: https://arxiv.org/pdf/2210.00664v1
• Código: https://github.com/pschaldenbrand/Frida
• Página del proyecto: https://pschaldenbrand.github.io/frida/