FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

Autoren: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein Malroboter, der Pinselstriche in einem differenzierbaren Simulator plant, der aus seinen eigenen realen Strichen erstellt wurde, und anschließend anhand von Kamerabildern neu plant, um Text-, Bild- oder Skizzenvorgaben zu erfüllen.

Warum es wichtig ist

Das System verbindet die Inhaltserzeugung durch vortrainierte Vision-Modelle mit der Aktionsplanung für einen physischen Arm und passt sich daran an, wie sich echte Farbe und Pinsel verhalten, statt eine perfekte Ausführung anzunehmen. Da der Simulator an eine kleine Menge eigener Striche des Roboters angepasst wird, kann er neu kalibriert werden, wenn sich Pinsel oder Materialien ändern, und die Autoren geben an, dass sich jeder ROS-kompatible Arm mit einer dem Sawyer ähnlichen Morphologie mit minimalen Schnittstellenänderungen anpassen ließe.

Problem

Malen ist ein dynamischer Prozess mit übergeordneten, semantischen Zielen, doch die meisten robotischen Malsysteme behandeln es wie Drucken: Ein vollständiger Strichplan wird im Voraus erstellt und blind ausgeführt. Lernfähige Malsysteme planen in Simulatoren mit großer sim2real-Lücke, sodass ihre Strichpläne schlechte Gemälde ergeben oder auf einem realen Roboter nicht ausführbar sind.

Lösungsansatz

Während der Kalibrierung malt der Roboter zufällige Striche, und ein kleines Netz (param2stroke) lernt, drei Formparameter des Strichs (Dicke, Krümmung, Länge) auf das Erscheinungsbild des Strichs abzubilden; zusammen mit differenzierbarer Platzierung und Aufstempeln auf die Leinwand bildet dies einen vollständig differenzierbaren Malsimulator. Ein Plan von Pinselstrichen wird per Gradientenabstieg gegen CLIP-Text-, VGG-Stil-, Pixel- oder CLIP-Merkmalsverluste optimiert, und nach jeder Gruppe ausgeführter Striche wird das Kamerabild der realen Leinwand genutzt, um den verbleibenden Plan neu zu optimieren.

Wichtigste Erkenntnisse

Das Strichmodell an tatsächlich vom Roboter gemalte Striche anzupassen (real2sim2real), ergibt eine kleinere sim2real-Lücke als die unbeschränkten oder von Hand beschränkten Strichmodelle früherer lernbasierter Malsysteme.
Eine vollständig differenzierbare Rendering-Pipeline lässt Verluste aus vortrainierten Netzen wie CLIP und VGG die Parameter der Pinselstriche direkt per Gradientenabstieg steuern.
Den verbleibenden Plan nach jeder Gruppe von Strichen anhand von Kamerabildern neu zu optimieren, erlaubt es dem Plan, sich an die stochastische Ausführung anzupassen; ohne Neuplanung wächst die Abweichung vom ursprünglichen Plan Strich für Strich linear.
Ein semantischer Replikationsverlust auf konvolutionalen CLIP-Merkmalen erfasste in einer Crowd-Umfrage den Zielinhalt besser als ein pixelbasierter L2-Verlust.
Striche von hell nach dunkel zu ordnen, verkürzt die Zeit für das Reinigen des Pinsels und verhindert, dass der Pinsel nasse dunkle Farbe in helle Bereiche zieht.

Hauptergebnisse

Mittlere L1-Distanz zwischen modellierten und realen Strichen über 50 Stichproben: 0,012 (Trainingsstriche) und 0,018 (Teststriche) für param2stroke gegenüber 0,028 und 0,028 für DiffVG; der Unterschied ist signifikant bei p < .01.
Sim2real-Lücke bei einem Porträt, gemessen als MSE zwischen simuliertem Plan und realem Gemälde: 0,029 für FRIDA gegenüber 0,066 für Schaldenbrand & Oh 2021 und 0,156 für Huang et al. 2019.
In einer Umfrage mit 103 Teilnehmenden über Amazon Mechanical Turk bevorzugten 73,3 % (Frage zur Replikation) und 68,3 % (Frage zum übergeordneten Inhalt) die mit dem Semantic Replication Objective erstellten Gemälde; beide liegen signifikant über 50 % bei p = 0.01.
Der Fehler des Strichmodells sinkt stetig mit mehr Kalibrierungsstrichen, mit geringen Zugewinnen ab etwa 100 Trainings-/Validierungsstrichen (getestet an 42 zurückgehaltenen Strichen).
Auf dem realen Roboter demonstrierte Aufgaben umfassen das Malen nach einer sprachlichen Beschreibung im Stil eines Beispielbilds, das konzeptuelle Malen eines Zielbilds und das Malen nach einer Skizze des Nutzers.

Einschränkungen

Das Malmodell ist vereinfacht: diskrete Farboptionen, als unabhängig angenommene Striche, keine Modellierung der Nässe der Farbe oder der Farbmenge am Pinsel, und der Pinsel ist senkrecht zur Leinwand fixiert.
Die Vorstellung des Systems von einem dynamischen kreativen Prozess ist weit eingeschränkter als diejenige, auf die es sich stützt; es erkundet oder erschafft noch keine neuen Stile.
Kein automatisches Mischen von Farben: Ein Mensch mischt und stellt die diskrete Palette bereit, und die Positionen von Leinwand, Farben, Wasser und Lappen sind explizit programmiert.
Die Farbmenge am Pinsel ist die größte nicht modellierte Variable und fügt dem Strichmodell Rauschen hinzu.
Der Aufbau benötigt indirekte, diffuse Beleuchtung, um Blendung durch nasse Farbe zu vermeiden, und die Kalibrierung erfordert, dass ein Mensch die Ecken der Leinwand markiert und die leichteste und festeste Berührung des Pinsels einstellt.

Wirkung auf das Fachgebiet

Finalist für den ICRA 2023 Outstanding Deployed Systems Paper Award, mit 56 Zitierungen. Der vollständige FRIDA-Software-Stack ist als Open Source veröffentlicht.

Zusammenfassung

Malen ist ein künstlerischer Prozess der Darstellung visueller Inhalte, der die übergeordneten Kommunikationsziele eines Künstlers erreicht, die sich im Verlauf des kreativen Prozesses dynamisch ändern können. In diesem Paper stellen wir ein Framework and Robotics Initiative for Developing Arts (FRIDA) vor, das es Menschen ermöglicht, Gemälde auf Leinwand zu erstellen, indem sie mit einem Malroboter über einfache Eingaben wie sprachliche Beschreibungen oder Bilder zusammenarbeiten. FRIDA führt mehrere technische Neuerungen zur rechnerischen Modellierung eines kreativen Malprozesses ein. Erstens entwickeln wir eine vollständig differenzierbare Simulationsumgebung für das Malen und greifen dabei die Idee von der Realität zur Simulation zurück zur Realität (real2sim2real) auf. Wir zeigen, dass unsere vorgeschlagene simulierte Malumgebung eine höhere Wirklichkeitstreue aufweist als bestehende Simulationsumgebungen für das Malen mit Robotern. Zweitens entwickeln wir zur Modellierung der sich entwickelnden Dynamik eines kreativen Prozesses einen Planungsansatz, der den Malplan auf Grundlage der sich entwickelnden Leinwand im Hinblick auf die übergeordneten Ziele kontinuierlich optimieren kann. Im Gegensatz zu bestehenden Ansätzen, bei denen der Prozess der Inhaltserzeugung und die Aktionsplanung unabhängig und nacheinander durchgeführt werden, passt sich FRIDA an die stochastische Natur der Verwendung von Farbe und Pinsel an, indem es seine semantischen Ziele auf Grundlage seiner visuellen Wahrnehmung des Malfortschritts fortlaufend neu plant und neu bewertet. Wir beschreiben die Details des technischen Ansatzes sowie die Systemintegration. Die FRIDA-Software ist frei verfügbar unter: https://pschaldenbrand.github.io/frida/.

Open Source Robotics