FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

Auteurs: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un robot peintre qui planifie ses coups de pinceau dans un simulateur différentiable construit à partir de ses propres coups réels, puis replanifie à partir d'images de caméra pour atteindre des objectifs donnés sous forme de texte, d'image ou de croquis.

Pourquoi c'est important

Le système associe la génération de contenu par des modèles de vision pré-entraînés à la planification d'actions pour un bras physique, et il s'adapte au comportement réel de la peinture et des pinceaux au lieu de supposer une exécution parfaite. Comme le simulateur est ajusté sur un petit ensemble de coups du robot lui-même, il peut être recalibré lorsque le pinceau ou les matériaux changent, et les auteurs indiquent que tout bras compatible ROS dont la morphologie est proche de celle du Sawyer pourrait être adapté avec un minimum de modifications d'interface.

Problème

La peinture est un processus dynamique aux objectifs sémantiques de haut niveau, mais la plupart des systèmes de peinture robotique la traitent comme de l'impression : un plan complet de coups est établi à l'avance et exécuté à l'aveugle. Les systèmes de peinture fondés sur l'apprentissage planifient dans des simulateurs présentant un grand écart sim2real, si bien que leurs plans de coups donnent de mauvaises peintures ou ne peuvent pas être exécutés sur un robot réel.

Solution proposée

Pendant l'étalonnage, le robot peint des coups aléatoires, et un petit réseau (param2stroke) apprend à associer trois paramètres de forme du coup (épaisseur, courbure, longueur) à l'apparence du coup ; avec un placement et un tamponnage différentiables sur la toile, cela forme un simulateur de peinture entièrement différentiable. Un plan de coups de pinceau est optimisé par descente de gradient selon des pertes texte CLIP, style VGG, pixel ou caractéristiques CLIP, et après chaque lot de coups exécutés, l'image de caméra de la toile réelle sert à réoptimiser le plan restant.

Idées clés

• Ajuster le modèle de coup de pinceau sur des coups réellement peints par le robot (real2sim2real) donne un écart sim2real plus faible que les modèles de coups non contraints ou contraints à la main des peintres fondés sur l'apprentissage antérieurs.
• Une chaîne de rendu entièrement différentiable permet aux pertes issues de réseaux pré-entraînés comme CLIP et VGG de piloter directement les paramètres des coups de pinceau par descente de gradient.
• Réoptimiser le plan restant à partir d'images de caméra après chaque lot de coups permet au plan de s'adapter à l'exécution stochastique ; sans replanification, l'écart par rapport au plan initial croît linéairement, coup après coup.
• Une perte de réplication sémantique sur les caractéristiques convolutives de CLIP a mieux capturé le contenu cible qu'une perte L2 sur les pixels dans une enquête participative.
• Ordonner les coups du clair au foncé réduit le temps de nettoyage du pinceau et empêche le pinceau d'entraîner de la peinture foncée humide dans les zones claires.

Principaux résultats

• Distance L1 moyenne entre coups modélisés et coups réels sur 50 échantillons : 0,012 (coups d'entraînement) et 0,018 (coups de test) pour param2stroke contre 0,028 et 0,028 pour DiffVG ; la différence est significative à p < .01.
• Écart Sim2real sur un portrait, mesuré comme la MSE entre le plan simulé et la peinture réelle : 0,029 pour FRIDA contre 0,066 pour Schaldenbrand & Oh 2021 et 0,156 pour Huang et al. 2019.
• Dans une enquête auprès de 103 participants d'Amazon Mechanical Turk, 73,3 % (question de réplication) et 68,3 % (question sur le contenu de haut niveau) ont préféré les peintures réalisées avec le Semantic Replication Objective ; les deux sont significativement supérieurs à 50 % à p = 0.01.
• L'erreur du modèle de coup diminue régulièrement à mesure que l'on utilise davantage de coups d'étalonnage, avec de faibles gains au-delà d'environ 100 coups d'entraînement/validation (testé sur 42 coups mis de côté).
• Les tâches démontrées sur le robot réel comprennent la peinture à partir d'une description en langage naturel dans le style d'une image d'exemple, la peinture conceptuelle d'une image cible et la peinture à partir d'un croquis de l'utilisateur.

Limites

• Le modèle de peinture est simplifié : options de couleur discrètes, coups supposés indépendants, aucune modélisation de l'humidité de la peinture ni de la quantité de peinture sur le pinceau, et le pinceau est fixé perpendiculairement à la toile.
• La notion de processus créatif dynamique du système est bien plus restreinte que celle dont il s'inspire ; il n'explore ni ne crée encore de nouveaux styles.
• Pas de mélange automatique des peintures : un humain mélange et fournit la palette discrète, et les positions de la toile, des peintures, de l'eau et du chiffon sont programmées explicitement.
• La quantité de peinture sur le pinceau est la principale variable non modélisée et ajoute du bruit au modèle de coup.
• L'installation exige un éclairage indirect et diffus pour éviter les reflets de la peinture humide, et l'étalonnage nécessite qu'un humain marque les coins de la toile et règle la touche la plus légère et la plus appuyée du pinceau.

Impact sur le domaine

Finaliste du prix ICRA 2023 Outstanding Deployed Systems Paper, avec 56 citations. L'ensemble de la pile logicielle FRIDA est publié en open source.

Résumé

La peinture est un processus artistique de rendu d'un contenu visuel qui atteint les objectifs de communication de haut niveau d'un artiste, lesquels peuvent évoluer dynamiquement tout au long du processus créatif. Dans cet article, nous présentons un Framework and Robotics Initiative for Developing Arts (FRIDA) qui permet à des humains de produire des peintures sur toile en collaborant avec un robot peintre à l'aide d'entrées simples telles que des descriptions en langage naturel ou des images. FRIDA introduit plusieurs innovations techniques pour modéliser numériquement un processus de peinture créatif. Premièrement, nous développons un environnement de simulation de peinture entièrement différentiable, en adoptant l'idée du réel vers la simulation puis vers le réel (real2sim2real). Nous montrons que l'environnement de peinture simulé que nous proposons est plus fidèle à la réalité que les environnements de simulation existants utilisés pour la peinture robotique. Deuxièmement, pour modéliser la dynamique évolutive d'un processus créatif, nous développons une approche de planification capable d'optimiser en continu le plan de peinture en fonction de la toile en évolution, au regard des objectifs de haut niveau. Contrairement aux approches existantes, où le processus de génération de contenu et la planification des actions sont menés de manière indépendante et séquentielle, FRIDA s'adapte à la nature stochastique de l'usage de la peinture et d'un pinceau en replanifiant et en réévaluant continuellement ses objectifs sémantiques sur la base de sa perception visuelle de l'avancement de la peinture. Nous décrivons en détail l'approche technique ainsi que l'intégration du système. Le logiciel FRIDA est disponible gratuitement à l'adresse : https://pschaldenbrand.github.io/frida/.

Liens

• arXiv 2210.00664: https://arxiv.org/abs/2210.00664
• DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
• PDF: https://arxiv.org/pdf/2210.00664v1
• Code: https://github.com/pschaldenbrand/Frida
• Page du projet: https://pschaldenbrand.github.io/frida/