Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation

Autori: William Shen, Ge Yang, Alan Yu, Jansen Wong, Leslie Pack Kaelbling, Phillip Isola · CoRL 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

F3RM distilla feature 2D di CLIP o DINO in un campo di feature NeRF 3D, così un robot può inferire prese e posizionamenti a 6-DOF da due dimostrazioni per compito e raccogliere oggetti indicati con testo libero.

Perché è importante

Il metodo non richiede fine-tuning dei modelli di visione, né maschere di segmentazione o ipotesi sulla posa degli oggetti, perché opera sull'intero campo di feature. Gli autori riferiscono che inserire nella pipeline un modello visione-linguaggio più recente richiede pochi minuti di lavoro di ingegneria, senza riaddestramento e senza nuove dimostrazioni.

Problema

I modelli di immagini 2D preaddestrati contengono una ricca conoscenza semantica, ma afferrare e posizionare richiedono una geometria 3D accurata che manca alle feature 2D. L'articolo si chiede come un robot possa raccogliere oggetti mai visti, date poche dimostrazioni o una descrizione testuale, in scene ingombre in cui gli oggetti differiscono da quelli dimostrati per forma, dimensione, posa e materiale.

Soluzione proposta

Il robot scansiona il tavolo con una telecamera RGB su un bastone per selfie (50 immagini) e addestra un NeRF che renderizza anche feature dense di DINO ViT o di CLIP; le feature per patch di CLIP sono estratte con la riparametrizzazione di MaskCLIP così da restare allineate con il linguaggio. Una posa della pinza a 6-DOF è codificata campionando il campo di feature pesato per occupazione in 100 punti di interrogazione nel sistema di riferimento della pinza, e le pose sono trovate tramite un pre-filtraggio a voxel più un'ottimizzazione con Adam rispetto all'embedding medio di due dimostrazioni. Per i comandi testuali, l'embedding testuale di CLIP recupera le dimostrazioni più vicine e pesa il costo della posa verso le regioni che corrispondono all'interrogazione.

Idee chiave

• I campi di feature di DINO e CLIP sono complementari: DINO fornisce una buona geometria a livello di parti ma si confonde con distrattori simili e tende all'overfitting sul colore, mentre CLIP privilegia la semantica rispetto alla geometria: 21 fallimenti di CLIP su 27 contro 7 fallimenti di DINO su 19 sono dovuti a errori di rotazione o traslazione della presa.
• Le feature dense di CLIP prese dal penultimo strato con MaskCLIP mantengono l'allineamento con l'encoder testuale, quindi le interrogazioni in linguaggio funzionano sul campo di feature 3D senza fine-tuning di CLIP.
• Pesare le feature con l'occupazione del NeRF (alfa) permette a un'unica rappresentazione a punti di interrogazione di codificare sia la geometria locale sia la semantica, senza segmentazione né pose degli oggetti.
• Le dimostrazioni con tazze e cacciaviti si sono trasferite a nuove categorie come ciotole, becher graduati, rotoli di nastro adesivo, pennarelli per lavagna bianca e utensili quando l'obiettivo era indicato nel testo.
• La maggior parte dei fallimenti guidati dal linguaggio (13 su 19) è dovuta al fatto che CLIP si comporta come un bag-of-words e trascura relazioni, attributi e informazioni ordinali nell'interrogazione.

Risultati principali

• Afferrare e posizionare da due dimostrazioni per compito, cinque compiti con dieci scene di test ciascuno: feature CLIP ResNet 39/50, CLIP ViT 34/50, DINO ViT 31/50.
• Baseline sugli stessi compiti: densità del NeRF 27/50, RGB 21/50, feature intermedie del NeRF 9/50 e MIRA 15/50.
• Manipolazione guidata dal linguaggio in 13 scene su tavolo: 31 interrogazioni su 50 sono riuscite; per categoria, colore 7/10, materiale 7/10, relazionali 4/10, generali 4/10 e categorie di oggetti fuori distribuzione 9/10.
• Adattare il NeRF e il campo di feature richiede al massimo 90 s (80 s in media) su una NVIDIA RTX 3090, e ogni scena richiede 60-120 MB, contro da 50 a diverse centinaia di GB per scena per ConceptFusion, basato su surfel.
• L'ottimizzazione della posa di presa richiede in media 15 s; in un'ablazione sul numero di viste, la qualità cala drasticamente sotto circa 20 delle 50 immagini acquisite.

Limiti

• Secondo gli autori: la pipeline automatizzata di scansione e modellazione richiede alcuni minuti per scena ed è il principale collo di bottiglia del sistema.
• Gli autori osservano che il tasso di successo di 31/50 nella manipolazione guidata dal linguaggio è lontano dall'essere pratico per l'uso industriale.
• Il comportamento bag-of-words di CLIP ha causato fallimenti su interrogazioni come "black screwdriver" e "mug on a can of spam", e recuperare dimostrazioni tramite testo ha talvolta richiesto prompt engineering.
• Le distribuzioni dei punti di interrogazione sono regolate a mano per ogni compito, e il migliore di cinque insiemi di punti campionati viene scelto su scene di sviluppo.
• Sei dei 19 fallimenti guidati dal linguaggio sono dovuti a errori di rotazione o traslazione nella presa prevista.

Impatto sul settore

Vincitore del CoRL 2023 Best Paper Award. La pagina ufficiale del progetto contiene il link al repository del codice di F3RM.

Abstract

I modelli di immagini autosupervisionati e supervisionati dal linguaggio contengono una ricca conoscenza del mondo che è importante per la generalizzazione. Molti compiti robotici, tuttavia, richiedono una comprensione dettagliata della geometria 3D, che spesso manca nelle feature delle immagini 2D. Questo lavoro colma questo divario tra 2D e 3D per la manipolazione robotica sfruttando campi di feature distillati per combinare una geometria 3D accurata con la ricca semantica dei modelli fondazionali 2D. Presentiamo un metodo di apprendimento few-shot per afferrare e posizionare a 6-DOF che sfrutta questi forti prior spaziali e semantici per ottenere una generalizzazione in condizioni reali a oggetti mai visti. Usando feature distillate da un modello visione-linguaggio, CLIP, presentiamo un modo per designare nuovi oggetti da manipolare tramite linguaggio naturale a testo libero, e dimostriamo la sua capacità di generalizzare a espressioni mai viste e a nuove categorie di oggetti.

Link

• arXiv 2308.07931: https://arxiv.org/abs/2308.07931
• PDF: https://arxiv.org/pdf/2308.07931v1
• Codice: https://github.com/f3rm/f3rm
• Pagina del progetto: https://f3rm.csail.mit.edu/