CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

Auteurs: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Ajuster finement un modèle texte-image sur les coups de pinceau simulés d'un robot peintre lui apprend ce que le robot peut peindre et comment prolonger le travail humain, ce qui réduit l'écart sim-to-real sémantique de 0,241 à 0,035.

Pourquoi c'est important

Les grands modèles d'images pré-entraînés ne savent rien des outils d'un robot donné, ce qui limite leur usage pour la planification physique en général. L'article montre qu'un ajustement fin sur la propre production simulée du robot encode ces contraintes, et le code open source est disponible pour les plateformes robotiques XArm, Franka Emika et Rethink Sawyer.

Problème

FRIDA, un système antérieur de peinture robotique, ne permet aux utilisateurs de fournir qu'une invite ou une image initiale, et sa planification guidée par CLIP produit des peintures bruitées qui ne correspondent que vaguement au texte. Les modèles texte-image pré-entraînés donnent des images plus nettes, mais ils ne connaissent pas les limites de pinceau, de couleur et de coups du robot, et lorsqu'on leur demande de modifier une toile, ils font souvent de grands changements qui recouvrent le travail existant de l'humain.

Solution proposée

CoFRIDA utilise le simulateur de FRIDA pour peindre des images du sous-ensemble artistique de LAION, puis retire des coups (tous, un sous-ensemble aléatoire, une région saillante ou une région sémantique) pour former des paires de peintures partielles et complètes, en écartant les paires dont la peinture simulée a un CLIPScore inférieur à 0,5 par rapport à sa légende. Instruct-Pix2Pix est ajusté finement avec un faible taux d'apprentissage pour prédire la peinture complète à partir de la peinture partielle et du texte ; à l'exécution, il propose l'aspect que devrait avoir la toile, FRIDA planifie les coups pour y parvenir, et l'humain et le robot peignent à tour de rôle jusqu'à ce que l'utilisateur soit satisfait.

Idées clés

• La co-peinture diffère de l'inpainting : la modification doit préserver toute la toile et s'y articuler, au lieu de réimaginer une région locale marquée par l'utilisateur.
• Outre l'écart sim-to-real au niveau des pixels, il existe un écart sémantique : une image que le robot ne peut pas restituer perd son sens une fois peinte, mesuré ici comme la distance cosinus entre les embeddings CLIP de l'image générée et de sa peinture simulée.
• Après l'ajustement fin, le modèle s'adapte à chaque configuration : un contenu marqué pour un grand pinceau, peu de couleurs pour une palette fixe ou un marqueur, des dessins épurés sous une limite de coups.
• Planifier la sémantique dans l'espace des pixels avec un modèle pré-entraîné, puis passer la main à un planificateur de coups de bas niveau, évite la sortie bruitée obtenue en optimisant directement les coups par rapport à un objectif textuel.

Principaux résultats

• Sur 40 cas de co-peinture par méthode (dessins au Sharpie partant de 35 coups simulés), l'écart sémantique ∆sem est passé de 0,241 sans ajustement fin à 0,035 avec, et l'écart en pixels ∆pix de 0,195 à 0,052.
• Le CLIPScore était de 0,741 pour FRIDA, 0,624 pour CoFRIDA et 0,595 sans ajustement fin (BLIPScore 0,192, 0,178, 0,162) ; FRIDA optimise directement le CLIPScore, de sorte que les auteurs considèrent que ces scores le favorisent.
• Dans une enquête MTurk auprès de 24 participants (4 évaluations par paire d'images, 160 comparaisons par baseline), CoFRIDA a généralement été choisi comme correspondant plus clairement à la légende que FRIDA et que CoFRIDA sans ajustement fin, bien que de nombreux participants n'aient trouvé aucune des deux images adaptée.
• Sur l'ensemble des données d'ajustement fin LAION, ∆pix présentait une corrélation non significative avec le CLIPScore (Pearson −0,08, p = 0.08), tandis que ∆sem présentait une corrélation négative significative (−0,48, p = 2.4e−31), ce que les auteurs interprètent comme l'apprentissage par le modèle des capacités du robot plutôt qu'un transfert de style.
• Des peintures réelles à l'acrylique et au Sharpie se sont articulées avec du contenu humain hors des données d'ajustement fin, y compris de l'aquarelle, bien que l'ajustement fin n'ait utilisé qu'un seul médium.

Limites

• Limité à une interaction discrète à tour de rôle entre l'humain et le robot.
• Les peintures partielles pour l'entraînement sont obtenues par un retrait de coups conçu à la main ; une approche de bout en bout qui apprend à les former pourrait faire mieux.
• Soumis aux biais de Stable Diffusion et de ses données d'entraînement, de sorte que les auteurs recommandent un usage limité à la recherche ; après le signalement de contenus nuisibles dans LAION, ils ont basculé le code vers COCO sans constater de baisse de qualité.
• Les écarts sim-to-real sont mesurés par rapport à la simulation de FRIDA plutôt qu'à des peintures réelles, car générer de nombreux échantillons réels n'était pas faisable.
• Le robot ne peut utiliser qu'une seule configuration de peinture à la fois (acrylique à 12 couleurs, acrylique fixe à 4 couleurs ou Sharpie noir).

Impact sur le domaine

Lauréat du prix IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction, avec 32 citations. Le code est publié en open source dans le dépôt FRIDA et est disponible pour les plateformes robotiques XArm, Franka Emika et Rethink Sawyer.

Résumé

Les travaux antérieurs sur la peinture et le dessin robotiques, tels que FRIDA, se sont concentrés sur la réduction de l'écart sim-to-real et l'élargissement des modalités d'entrée pour les utilisateurs, mais l'interaction avec ces systèmes n'existe généralement qu'aux étapes d'entrée. Pour permettre une peinture collaborative et interactive entre humain et robot, nous présentons le cadre de peinture robotique Collaborative FRIDA (CoFRIDA), qui peut co-peindre en modifiant le contenu déjà peint par un collaborateur humain et en s'y articulant. Pour améliorer l'alignement texte-image, principale faiblesse de FRIDA, notre système utilise des modèles texte-image pré-entraînés ; toutefois, dans le contexte de la co-peinture réelle, les modèles pré-entraînés ne donnent pas de bons résultats car ils (1) ne comprennent pas les contraintes et les capacités du robot et (2) ne peuvent pas co-peindre sans apporter à la toile des modifications irréalistes et recouvrir le contenu existant. Nous proposons une procédure d'ajustement fin auto-supervisée qui peut traiter ces deux problèmes, permettant d'utiliser avec des robots des modèles d'alignement texte-image pré-entraînés à l'état de l'art pour rendre possible la co-peinture dans le monde physique. Notre approche open source, CoFRIDA, crée des peintures et des dessins qui correspondent plus clairement à l'invite textuelle que FRIDA, aussi bien à partir d'une toile vierge que d'une toile portant une œuvre créée par un humain. Plus généralement, notre procédure d'ajustement fin encode avec succès les contraintes et les capacités du robot dans un modèle de fondation, avec des résultats prometteurs en tant que méthode efficace pour réduire les écarts sim-to-real.

Liens

• arXiv 2402.13442: https://arxiv.org/abs/2402.13442
• DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
• PDF: https://arxiv.org/pdf/2402.13442v1
• Code: https://github.com/cmubig/Frida
• Page du projet: https://pschaldenbrand.github.io/cofrida/