CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

Autoren: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Die Feinabstimmung eines Text-zu-Bild-Modells auf den simulierten Pinselstrichen eines Malroboters lehrt es, was der Roboter malen kann und wie es menschliche Werke fortsetzt, und senkt die semantische Sim-to-Real-Lücke von 0,241 auf 0,035.

Warum es wichtig ist

Große vortrainierte Bildmodelle wissen nichts über die Werkzeuge eines bestimmten Roboters, was ihren Einsatz für physische Planung allgemein begrenzt. Die Arbeit zeigt, dass eine Feinabstimmung auf den eigenen simulierten Ausgaben des Roboters diese Einschränkungen kodiert, und der Open-Source-Code steht für die Roboterplattformen XArm, Franka Emika und Rethink Sawyer zur Verfügung.

Problem

FRIDA, ein früheres Robotermal-System, lässt Nutzer nur einen anfänglichen Prompt oder ein Bild beitragen, und seine CLIP-gesteuerte Planung erzeugt verrauschte Gemälde, die nur lose zum Text passen. Vortrainierte Text-zu-Bild-Modelle liefern klarere Bilder, kennen aber die Pinsel-, Farb- und Strichgrenzen des Roboters nicht, und wenn sie eine Leinwand bearbeiten sollen, nehmen sie oft große Änderungen vor, die das vorhandene Werk des Menschen übermalen.

Lösungsansatz

CoFRIDA nutzt den Simulator von FRIDA, um Bilder aus der Kunst-Teilmenge von LAION zu malen, und entfernt dann Striche (alle, eine zufällige Teilmenge, eine markante Region oder eine semantische Region), um Paare aus Teil- und Gesamtgemälde zu bilden; Paare, deren simuliertes Gemälde gegenüber seiner Bildunterschrift einen CLIPScore unter 0,5 hat, werden verworfen. Instruct-Pix2Pix wird mit niedriger Lernrate feinabgestimmt, um aus dem Teilgemälde und dem Text das Gesamtgemälde vorherzusagen; zur Laufzeit schlägt es vor, wie die Leinwand aussehen soll, FRIDA plant die Striche, um dorthin zu gelangen, und Mensch und Roboter wechseln sich ab, bis der Nutzer zufrieden ist.

Wichtigste Erkenntnisse

Gemeinsames Malen unterscheidet sich von Inpainting: Die Änderung muss die gesamte Leinwand erhalten und aufgreifen, statt eine vom Nutzer markierte lokale Region neu zu erfinden.
Neben der Sim-to-Real-Lücke auf Pixelebene gibt es eine semantische: Ein Bild, das der Roboter nicht wiedergeben kann, verliert beim Malen an Bedeutung, hier gemessen als Kosinusdistanz der CLIP-Embeddings zwischen dem erzeugten Bild und seinem simulierten Gemälde.
Nach der Feinabstimmung passt sich das Modell jeder Einstellung an: markante Inhalte für einen großen Pinsel, wenige Farben für eine feste Palette oder einen Marker, spärliche Zeichnungen bei einer Strichbegrenzung.
Die Semantik mit einem vortrainierten Modell im Pixelraum zu planen und dann an einen Strichplaner auf niedriger Ebene zu übergeben, vermeidet die verrauschten Ergebnisse einer direkten Optimierung der Striche gegen ein Textziel.

Hauptergebnisse

Bei 40 Fällen gemeinsamen Malens je Methode (Sharpie-Zeichnungen, ausgehend von 35 simulierten Strichen) sank die semantische Lücke ∆sem von 0,241 ohne Feinabstimmung auf 0,035 mit ihr und die Pixellücke ∆pix von 0,195 auf 0,052.
Der CLIPScore betrug 0,741 für FRIDA, 0,624 für CoFRIDA und 0,595 ohne Feinabstimmung (BLIPScore 0,192, 0,178, 0,162); FRIDA optimiert den CLIPScore direkt, daher werten die Autoren diese Scores als zugunsten von FRIDA verzerrt.
In einer MTurk-Umfrage mit 24 Teilnehmenden (4 Bewertungen je Bildpaar, 160 Vergleiche je Baseline) wurde CoFRIDA im Allgemeinen als deutlicher zur Bildunterschrift passend gewählt als FRIDA und als CoFRIDA ohne Feinabstimmung, wobei viele Teilnehmende keines der Bilder passend fanden.
Über die LAION-Feinabstimmungsdaten hinweg korrelierte ∆pix nicht signifikant mit dem CLIPScore (Pearson −0,08, p = 0.08), während ∆sem signifikant negativ korrelierte (−0,48, p = 2.4e−31), was die Autoren so deuten, dass das Modell Roboterfähigkeiten lernt und keinen Stiltransfer.
Reale Gemälde mit Acrylfarben und einem Sharpie griffen menschliche Inhalte außerhalb der Feinabstimmungsdaten auf, darunter Aquarell, obwohl die Feinabstimmung ein einziges Medium nutzte.

Einschränkungen

Beschränkt auf diskrete, abwechselnde Interaktion zwischen Mensch und Roboter.
Teilgemälde für das Training entstehen durch von Hand entworfenes Entfernen von Strichen; ein End-to-End-Ansatz, der lernt, wie sie zu bilden sind, könnte besser abschneiden.
Unterliegt den Verzerrungen von Stable Diffusion und seinen Trainingsdaten, daher empfehlen die Autoren eine Nutzung nur für die Forschung; nachdem schädliche Inhalte in LAION gemeldet wurden, stellten sie den Code auf COCO um, ohne einen Qualitätsverlust festzustellen.
Sim-to-Real-Lücken werden gegenüber der Simulation von FRIDA statt gegenüber realen Gemälden gemessen, weil das Erzeugen vieler realer Proben nicht machbar war.
Der Roboter kann jeweils nur eine Maleinstellung nutzen (Acryl mit 12 Farben, feste Acrylpalette mit 4 Farben oder schwarzer Sharpie).

Wirkung auf das Fachgebiet

Gewinner des IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction, mit 32 Zitierungen. Der Code ist als Open Source im FRIDA-Repository veröffentlicht und steht für die Roboterplattformen XArm, Franka Emika und Rethink Sawyer zur Verfügung.

Zusammenfassung

Frühere Arbeiten zum Malen und Zeichnen mit Robotern, etwa FRIDA, konzentrierten sich darauf, die Sim-to-Real-Lücke zu verringern und die Eingabemodalitäten für Nutzer zu erweitern, doch die Interaktion mit diesen Systemen findet im Allgemeinen nur in den Eingabephasen statt. Um interaktives, kollaboratives Malen von Mensch und Roboter zu unterstützen, stellen wir das Robotermal-Framework Collaborative FRIDA (CoFRIDA) vor, das mitmalen kann, indem es Inhalte verändert und aufgreift, die bereits von einem menschlichen Mitwirkenden gemalt wurden. Um die Text-Bild-Übereinstimmung zu verbessern – die größte Schwäche von FRIDA –, nutzt unser System vortrainierte Text-zu-Bild-Modelle; vortrainierte Modelle funktionieren im Kontext des realen gemeinsamen Malens jedoch nicht gut, weil sie (1) die Einschränkungen und Fähigkeiten des Roboters nicht verstehen und (2) nicht mitmalen können, ohne unrealistische Änderungen an der Leinwand vorzunehmen und Inhalte zu übermalen. Wir schlagen ein selbstüberwachtes Feinabstimmungsverfahren vor, das beide Probleme angehen kann und es erlaubt, vortrainierte Text-Bild-Alignment-Modelle auf dem Stand der Technik mit Robotern einzusetzen, um gemeinsames Malen in der physischen Welt zu ermöglichen. Unser Open-Source-Ansatz CoFRIDA erzeugt Gemälde und Zeichnungen, die dem eingegebenen Text-Prompt deutlicher entsprechen als FRIDA, sowohl ausgehend von einer leeren Leinwand als auch von einer mit von Menschen geschaffenem Werk. Allgemeiner kodiert unser Feinabstimmungsverfahren die Einschränkungen und Fähigkeiten des Roboters erfolgreich in einem Foundation Model und zeigt vielversprechende Ergebnisse als wirksame Methode zur Verringerung von Sim-to-Real-Lücken.

Open Source Robotics