GenAug: Retargeting behaviors to unseen situations via Generative Augmentation

Autori: Zoey Chen, Sho Kiami, Abhishek Gupta, Vikash Kumar · RSS 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

GenAug usa la diffusione da testo a immagine guidata dalla profondità per ridipingere oggetti, distrattori e sfondi in poche dimostrazioni reali, così una policy di pick-and-place CLIPort funziona in scene mai viste.

Perché è importante

Una policy addestrata con 10 dimostrazioni in un unico ambiente semplice può poi essere usata in scene reali diverse senza raccogliere altri dati del robot. Le maschere degli oggetti servono solo per le dimostrazioni, non al momento del test.

Problema

L'apprendimento robotico richiede dataset ampi e diversificati, ma la raccolta nel mondo reale è costosa e molti dataset robotici provengono da un'unica configurazione con poche ore di dati. Le augmentation standard come il color jitter, la sfocatura e il ritaglio coprono cambiamenti di aspetto di basso livello ma non cambiamenti semantici come nuovi distrattori, sfondi o aspetti degli oggetti.

Soluzione proposta

GenAug prende dimostrazioni RGBD con maschere degli oggetti e una posa della telecamera calibrata, e usa un modello preaddestrato di diffusione da testo a immagine guidato dalla profondità per cambiare le texture degli oggetti all'interno di una categoria, sostituire categorie di oggetti renderizzando prima mesh da Google Scanned Objects e Free3D, aggiungere distrattori verificati contro le collisioni e ridipingere gli sfondi. Poiché le posizioni dell'oggetto da prendere e del bersaglio restano fisse, le etichette di azione di pick-and-place originali restano valide; ogni dimostrazione viene aumentata 100 volte e il risultato addestra una policy CLIPort.

Idee chiave

• Le azioni di pick-and-place restano valide anche con grandi cambiamenti visivi purché le posizioni approssimative dell'oggetto e del bersaglio non cambino, quindi le immagini generate possono riutilizzare le etichette di azione originali.
• Renderizzare le mesh degli oggetti prima della generazione guidata dalla profondità mantiene coerenti in 3D le sostituzioni tra categorie; il semplice inpainting ha spesso prodotto immagini implausibili (Appendice A).
• Le augmentation copia-incolla e a sfondo casuale aggiungono robustezza verso ambienti nuovi ma restano al di sotto di GenAug con oggetti mai visti, il che gli autori leggono come prova che contano scene fisicamente plausibili e semanticamente significative.
• Il successo aumenta man mano che il numero di augmentation per dimostrazione cresce da 0 a 10, 50 e 100 (Figura 11).

Risultati principali

• Mondo reale, 10 compiti con 10 dimostrazioni ciascuno: 85 % di successo medio in ambienti mai visti, 52 % con oggetti di destinazione mai visti e 45 % con oggetti da prendere mai visti (Tabella I, 10 scene per condizione).
• Confronto nel mondo reale con CLIPort addestrato senza GenAug (Tabella II, 5 scene per condizione): 80 % contro 38 % in ambienti mai visti, 54 % contro 8 % con oggetti di destinazione mai visti e 46 % contro 10 % con oggetti da prendere mai visti.
• L'abstract e la conclusione riportano un miglioramento del 40 % nella generalizzazione a scene e oggetti nuovi rispetto all'addestramento senza GenAug.
• Simulazione, ambienti mai visti con 100 dimostrazioni (Tabella III): GenAug ottiene 77,6 (TransporterNet) e 71,9 (CLIPort), GenAug con profondità 91,2 e 73,4, contro 9,8 e 14,4 senza augmentation.
• GenAug non è il metodo migliore in ogni cella della Tabella III; per esempio, Random Background ottiene 79,1 contro il 77,6 di GenAug in ambienti mai visti con TransporterNet e 100 dimostrazioni.

Limiti

• GenAug non aumenta le etichette di azione né ragiona su materiale, attrito o deformazione; presuppone che l'azione originale funzioni ancora e non collida con gli oggetti aggiunti (secondo gli autori).
• Non può garantire la coerenza visiva tra i fotogrammi di un video (secondo gli autori).
• Aumentare una scena richiede circa 30 secondi, il che può essere poco pratico per metodi come l'RL on-policy (secondo gli autori).
• I fallimenti si verificano quando oggetto e sfondo hanno colori simili, quando un distrattore è molto luminoso o di colore simile, o quando il tavolo contiene troppi oggetti.
• Le dimostrazioni richiedono maschere degli oggetti etichettate a mano e una posa della telecamera calibrata, oltre a una libreria di mesh degli oggetti, e il metodo è stato testato solo su pick-and-place su tavolo con una pinza a ventosa.

Impatto sul settore

Finalista per il premio al miglior articolo sui sistemi di RSS 2023 (Best System Paper Award), con 165 citazioni. La pagina ufficiale del progetto, genaug.github.io, rimanda a un repository di codice.

Abstract

I metodi di apprendimento robotico hanno il potenziale per un'ampia generalizzazione tra compiti, ambienti e oggetti. Tuttavia, questi metodi richiedono dataset ampi e diversificati, costosi da raccogliere in contesti robotici reali. Perché l'apprendimento robotico generalizzi, dobbiamo poter sfruttare fonti di dati o prior che vadano oltre l'esperienza del robot stesso. In questo lavoro sosteniamo che i modelli generativi immagine-testo, preaddestrati su grandi corpora di dati raccolti dal web, possano servire come tale fonte di dati. Mostriamo che, sebbene questi modelli generativi siano addestrati su dati in gran parte non robotici, possono costituire modi efficaci per trasferire prior nel processo di apprendimento robotico in modo da consentire un'ampia generalizzazione. In particolare, mostriamo come i modelli generativi preaddestrati possano servire come strumenti efficaci per una data augmentation semanticamente significativa. Sfruttando questi modelli preaddestrati per generare augmentation "semantiche" appropriate, proponiamo un sistema, GenAug, in grado di migliorare significativamente la generalizzazione della policy. Applichiamo GenAug a compiti di manipolazione su tavolo, mostrando la capacità di riorientare il comportamento verso scenari nuovi richiedendo solo quantità marginali di dati reali. Dimostriamo l'efficacia di questo sistema su diversi problemi di manipolazione di oggetti nel mondo reale, con un miglioramento del 40 % nella generalizzazione a scene e oggetti nuovi.

Link

• arXiv 2302.06671: https://arxiv.org/abs/2302.06671
• DOI 10.48550/arXiv.2302.06671: https://doi.org/10.48550/arXiv.2302.06671
• PDF: https://arxiv.org/pdf/2302.06671v1
• Codice: https://github.com/genaug/genaug
• Pagina del progetto: https://genaug.github.io/