FRIDA: A Collaborative Robot Painter with a Differentiable, Real2Sim2Real Planning Environment

Autori: Peter Schaldenbrand, James McCann, Jean Oh · ICRA 2023

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un robot pittore che pianifica le pennellate in un simulatore differenziabile costruito dalle proprie pennellate reali, poi ripianifica in base alle immagini della telecamera per raggiungere obiettivi espressi come testo, immagine o schizzo.

Perché è importante

Il sistema unisce la generazione di contenuti da modelli di visione pre-addestrati alla pianificazione delle azioni per un braccio fisico, e si adatta al comportamento reale di colori e pennelli invece di presupporre un'esecuzione perfetta. Poiché il simulatore è adattato a un piccolo insieme di pennellate del robot stesso, può essere ricalibrato quando cambiano il pennello o i materiali, e gli autori affermano che qualsiasi braccio compatibile con ROS con una morfologia simile a quella del Sawyer potrebbe essere adattato con modifiche minime all'interfaccia.

Problema

La pittura è un processo dinamico con obiettivi semantici di alto livello, ma la maggior parte dei sistemi di pittura robotica la tratta come una stampa: un piano completo di pennellate viene preparato in anticipo ed eseguito alla cieca. I sistemi di pittura basati sull'apprendimento pianificano in simulatori con un ampio divario sim2real, quindi i loro piani di pennellate producono dipinti scadenti o non possono essere eseguiti su un robot reale.

Soluzione proposta

Durante la calibrazione il robot dipinge pennellate casuali, e una piccola rete (param2stroke) impara a mappare tre parametri di forma della pennellata (spessore, curvatura, lunghezza) sull'aspetto della pennellata; insieme a un posizionamento e a una stampa differenziabili sulla tela, questo forma un simulatore di pittura completamente differenziabile. Un piano di pennellate viene ottimizzato per discesa del gradiente rispetto a loss su testo CLIP, stile VGG, pixel o feature CLIP, e dopo ogni lotto di pennellate eseguite l'immagine della tela reale ripresa dalla telecamera viene usata per riottimizzare il piano rimanente.

Idee chiave

Adattare il modello di pennellata alle pennellate effettivamente dipinte dal robot (real2sim2real) dà un divario sim2real minore rispetto ai modelli di pennellata non vincolati o vincolati a mano dei precedenti pittori basati sull'apprendimento.
Una pipeline di rendering completamente differenziabile consente alle loss di reti pre-addestrate come CLIP e VGG di guidare direttamente i parametri delle pennellate tramite discesa del gradiente.
Riottimizzare il piano rimanente a partire dalle immagini della telecamera dopo ogni lotto di pennellate permette al piano di adattarsi all'esecuzione stocastica; senza ripianificazione, la deviazione dal piano iniziale cresce linearmente pennellata dopo pennellata.
Una loss di replicazione semantica sulle feature convoluzionali di CLIP ha catturato il contenuto obiettivo meglio di una loss L2 sui pixel in un sondaggio in crowdsourcing.
Ordinare le pennellate dal chiaro allo scuro riduce il tempo di pulizia del pennello e impedisce al pennello di trascinare colore scuro bagnato nelle zone chiare.

Risultati principali

Distanza L1 media tra pennellate modellate e reali su 50 campioni: 0,012 (pennellate di addestramento) e 0,018 (pennellate di test) per param2stroke contro 0,028 e 0,028 per DiffVG; la differenza è significativa con p < .01.
Divario sim2real su un ritratto, misurato come MSE tra il piano simulato e il dipinto reale: 0,029 per FRIDA contro 0,066 per Schaldenbrand & Oh 2021 e 0,156 per Huang et al. 2019.
In un sondaggio con 103 partecipanti di Amazon Mechanical Turk, il 73,3 % (domanda sulla replicazione) e il 68,3 % (domanda sul contenuto di alto livello) hanno preferito i dipinti realizzati con il Semantic Replication Objective; entrambi i valori sono significativamente superiori al 50 % con p = 0.01.
L'errore del modello di pennellata diminuisce costantemente all'aumentare delle pennellate di calibrazione, con guadagni ridotti oltre circa 100 pennellate di addestramento/validazione (test su 42 pennellate escluse).
I compiti dimostrati sul robot reale comprendono dipingere da una descrizione in linguaggio naturale nello stile di un'immagine di esempio, dipingere concettualmente un'immagine obiettivo e dipingere da uno schizzo dell'utente.

Limiti

Il modello di pittura è semplificato: opzioni di colore discrete, pennellate supposte indipendenti, nessuna modellazione di quanto il colore è bagnato o di quanto colore c'è sul pennello, e il pennello è fissato perpendicolare alla tela.
La nozione di processo creativo dinamico del sistema è molto più vincolata di quella a cui si ispira; non esplora né crea ancora stili nuovi.
Non c'è miscelazione automatica dei colori: una persona miscela e fornisce la tavolozza discreta, e le posizioni di tela, colori, acqua e straccio sono programmate esplicitamente.
La quantità di colore sul pennello è la principale variabile non modellata e aggiunge rumore al modello di pennellata.
L'allestimento richiede un'illuminazione indiretta e diffusa per evitare i riflessi del colore bagnato, e la calibrazione richiede che una persona segni gli angoli della tela e imposti il tocco più leggero e quello più deciso del pennello.

Impatto sul settore

Finalista dell'ICRA 2023 Outstanding Deployed Systems Paper award, con 56 citazioni. L'intero stack software di FRIDA è rilasciato come open source.

Abstract

La pittura è un processo artistico di resa di contenuti visivi che realizza gli obiettivi comunicativi di alto livello di un artista, i quali possono cambiare dinamicamente nel corso del processo creativo. In questo articolo presentiamo un Framework and Robotics Initiative for Developing Arts (FRIDA) che consente alle persone di realizzare dipinti su tela collaborando con un robot pittore tramite input semplici, come descrizioni in linguaggio naturale o immagini. FRIDA introduce diverse innovazioni tecniche per modellare computazionalmente un processo pittorico creativo. In primo luogo, sviluppiamo un ambiente di simulazione della pittura completamente differenziabile, adottando l'idea di passare dal reale alla simulazione e di nuovo al reale (real2sim2real). Mostriamo che l'ambiente pittorico simulato da noi proposto ha una fedeltà alla realtà maggiore rispetto agli ambienti di simulazione esistenti usati per la pittura robotica. In secondo luogo, per modellare la dinamica in evoluzione di un processo creativo, sviluppiamo un approccio di pianificazione in grado di ottimizzare continuamente il piano di pittura in base alla tela in evoluzione rispetto agli obiettivi di alto livello. A differenza degli approcci esistenti, in cui il processo di generazione dei contenuti e la pianificazione delle azioni sono eseguiti in modo indipendente e sequenziale, FRIDA si adatta alla natura stocastica dell'uso di colore e pennello ripianificando e rivalutando continuamente i propri obiettivi semantici in base alla percezione visiva dell'avanzamento del dipinto. Descriviamo i dettagli dell'approccio tecnico e l'integrazione del sistema. Il software FRIDA è disponibile gratuitamente all'indirizzo: https://pschaldenbrand.github.io/frida/.

Link

arXiv 2210.00664: https://arxiv.org/abs/2210.00664
DOI 10.1109/ICRA48891.2023.10160702: https://doi.org/10.1109/ICRA48891.2023.10160702
PDF: https://arxiv.org/pdf/2210.00664v1
Codice: https://github.com/pschaldenbrand/Frida
Pagina del progetto: https://pschaldenbrand.github.io/frida/