CoFRIDA: Self-Supervised Fine-Tuning for Human-Robot Co-Painting

Autori: Peter Schaldenbrand, Gaurav Parmar, Jun-Yan Zhu, James McCann, Jean Oh · ICRA 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Il fine-tuning di un modello text-to-image sulle pennellate simulate di un robot pittore gli insegna che cosa il robot può dipingere e come estendere l'opera umana, riducendo il divario sim-to-real semantico da 0,241 a 0,035.

Perché è importante

I grandi modelli di immagini pre-addestrati non sanno nulla degli strumenti di uno specifico robot, il che ne limita in generale l'uso per la pianificazione fisica. L'articolo mostra che il fine-tuning sull'output simulato del robot stesso codifica quei vincoli, e il codice open source è disponibile per le piattaforme robotiche XArm, Franka Emika e Rethink Sawyer.

Problema

FRIDA, un precedente sistema di pittura robotica, consente agli utenti di fornire solo un prompt o un'immagine iniziale, e la sua pianificazione guidata da CLIP produce dipinti rumorosi che corrispondono al testo solo in modo approssimativo. I modelli text-to-image pre-addestrati producono immagini più nitide, ma non conoscono i limiti di pennello, colore e pennellate del robot e, quando viene chiesto loro di modificare una tela, spesso apportano grandi cambiamenti che sovrascrivono l'opera già presente della persona.

Soluzione proposta

CoFRIDA usa il simulatore di FRIDA per dipingere immagini del sottoinsieme artistico di LAION, poi rimuove pennellate (tutte, un sottoinsieme casuale, una regione saliente o una regione semantica) per creare coppie di dipinti parziali e completi, scartando le coppie il cui dipinto simulato ha un CLIPScore inferiore a 0,5 rispetto alla didascalia. Instruct-Pix2Pix viene sottoposto a fine-tuning con un learning rate basso per prevedere il dipinto completo a partire da quello parziale e dal testo; in esecuzione propone come dovrebbe apparire la tela, FRIDA pianifica le pennellate per arrivarci, e la persona e il robot si alternano finché l'utente non è soddisfatto.

Idee chiave

• La co-pittura differisce dall'inpainting: la modifica deve preservare l'intera tela e interagire con essa, invece di reimmaginare una regione locale indicata dall'utente.
• Oltre al divario sim-to-real a livello di pixel ne esiste uno semantico: un'immagine che il robot non può riprodurre perde significato quando viene dipinta, misurato qui come distanza coseno tra gli embedding CLIP dell'immagine generata e del suo dipinto simulato.
• Dopo il fine-tuning il modello si adatta a ogni configurazione: contenuti ben evidenti con un pennello grande, pochi colori con una tavolozza fissa o un pennarello, disegni essenziali sotto un limite di pennellate.
• Pianificare la semantica nello spazio dei pixel con un modello pre-addestrato e poi passare il risultato a un pianificatore di pennellate di basso livello evita l'output rumoroso che si ottiene ottimizzando le pennellate direttamente rispetto a un obiettivo testuale.

Risultati principali

• Su 40 casi di co-pittura per metodo (disegni con Sharpie avviati da 35 pennellate simulate), il divario semantico ∆sem è sceso da 0,241 senza fine-tuning a 0,035 con il fine-tuning, e il divario di pixel ∆pix da 0,195 a 0,052.
• Il CLIPScore è stato 0,741 per FRIDA, 0,624 per CoFRIDA e 0,595 senza fine-tuning (BLIPScore 0,192, 0,178, 0,162); FRIDA ottimizza direttamente il CLIPScore, per cui gli autori considerano questi punteggi a suo favore.
• In un sondaggio su MTurk con 24 partecipanti (4 valutazioni per coppia di immagini, 160 confronti per baseline), CoFRIDA è stato in genere scelto come più chiaramente aderente alla didascalia rispetto a FRIDA e a CoFRIDA senza fine-tuning, anche se molti partecipanti hanno ritenuto che nessuna delle due immagini fosse adatta.
• Sui dati di fine-tuning di LAION, ∆pix ha avuto una correlazione non significativa con il CLIPScore (Pearson −0.08, p = 0.08), mentre ∆sem ne ha avuta una negativa significativa (−0.48, p = 2.4e−31), il che gli autori interpretano come un apprendimento delle capacità del robot da parte del modello anziché un trasferimento di stile.
• Dipinti reali con acrilici e con uno Sharpie hanno interagito con contenuti umani esterni ai dati di fine-tuning, compreso l'acquerello, anche se il fine-tuning ha usato un solo medium.

Limiti

• Limitato a un'interazione a turni discreti tra persona e robot.
• I dipinti parziali per l'addestramento sono creati con una rimozione delle pennellate progettata a mano; un approccio end-to-end che impari a formarli potrebbe funzionare meglio.
• Soggetto ai bias di Stable Diffusion e dei suoi dati di addestramento, per cui gli autori ne raccomandano l'uso solo a fini di ricerca; dopo la segnalazione di contenuti dannosi in LAION hanno passato il codice a COCO senza osservare un calo di qualità.
• I divari sim-to-real sono misurati rispetto alla simulazione di FRIDA anziché su dipinti reali, perché generare molti campioni reali non era fattibile.
• Il robot può usare una sola configurazione di pittura (acrilico a 12 colori, acrilico fisso a 4 colori o Sharpie nero) alla volta.

Impatto sul settore

Vincitore dell'IEEE ICRA 2024 Best Paper Award on Human-Robot Interaction, con 32 citazioni. Il codice è rilasciato come open source nel repository di FRIDA ed è disponibile per le piattaforme robotiche XArm, Franka Emika e Rethink Sawyer.

Abstract

I lavori precedenti di pittura e disegno robotici, come FRIDA, si sono concentrati sulla riduzione del divario sim-to-real e sull'ampliamento delle modalità di input per gli utenti, ma l'interazione con questi sistemi esiste in genere solo nelle fasi di input. Per supportare la pittura collaborativa interattiva tra esseri umani e robot, introduciamo il framework di pittura robotica Collaborative FRIDA (CoFRIDA), che può dipingere insieme a un collaboratore umano modificando il contenuto già dipinto da quest'ultimo e interagendo con esso. Per migliorare l'allineamento testo-immagine, il principale punto debole di FRIDA, il nostro sistema usa modelli text-to-image pre-addestrati; tuttavia, i modelli pre-addestrati non funzionano bene nel contesto della co-pittura nel mondo reale perché (1) non comprendono i vincoli e le capacità del robot e (2) non riescono a co-dipingere senza apportare modifiche irrealistiche alla tela e sovrascrivere il contenuto. Proponiamo una procedura di fine-tuning auto-supervisionata in grado di affrontare entrambi i problemi, che consente di usare con i robot modelli pre-addestrati di allineamento testo-immagine allo stato dell'arte per rendere possibile la co-pittura nel mondo fisico. Il nostro approccio open source, CoFRIDA, crea dipinti e disegni che corrispondono al prompt testuale di input in modo più chiaro rispetto a FRIDA, sia partendo da una tela bianca sia da una con un'opera creata da una persona. Più in generale, la nostra procedura di fine-tuning codifica con successo i vincoli e le capacità del robot in un foundation model, mostrando risultati promettenti come metodo efficace per ridurre i divari sim-to-real.

Link

• arXiv 2402.13442: https://arxiv.org/abs/2402.13442
• DOI 10.1109/ICRA57147.2024.10610618: https://doi.org/10.1109/ICRA57147.2024.10610618
• PDF: https://arxiv.org/pdf/2402.13442v1
• Codice: https://github.com/cmubig/Frida
• Pagina del progetto: https://pschaldenbrand.github.io/cofrida/