Language Embedded Radiance Fields for Zero-Shot Task-Oriented Grasping

Autori: Adam Rashid, Satvik Sharma, Chung Min Kim, Justin Kerr, Lawrence Yunliang Chen, Angjoo Kanazawa, Ken Goldberg · CoRL 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Costruisce un LERF della scena, maschera l'oggetto indicato con feature DINO, interroga il nome della parte solo all'interno di quella maschera e riordina le prese di GraspNet così che il robot afferri la parte indicata.

Perché è importante

Il metodo non richiede etichette delle parti, dataset di affordance, dimostrazioni né fine-tuning, e gestisce interrogazioni di coda lunga come 'ethernet dongle', 'cork' o 'martini glass' perché usa CLIP in zero-shot. L'interrogazione della parte è testo semplice, quindi un modello linguistico può fornire oggetto e parte a partire da una descrizione del compito come 'cut the steak'.

Problema

Molti oggetti vanno afferrati per una parte specifica, come un coltello per il manico o degli occhiali da sole per la montatura, ma i pianificatori di prese basati sull'apprendimento considerano soprattutto la geometria e giudicano il successo in base al sollevamento dell'oggetto. I precedenti metodi di presa orientata al compito raccolgono dataset di parti di oggetti o di affordance, che faticano a scalare a molti oggetti. LERF da solo evidenzia solo la regione più identificativa di un oggetto, e CLIP si comporta come un bag-of-words, per cui 'mug' e 'mug handle' attivano quasi le stesse regioni.

Soluzione proposta

Una telecamera al polso acquisisce circa 60 immagini lungo un percorso emisferico, e un Language Embedded Radiance Field (feature CLIP e DINO distillate in un NeRF, costruito su Nerfacto di Nerfstudio) viene addestrato in circa 78 secondi. L'interrogazione dell'oggetto lo localizza, una maschera 3D dell'oggetto viene fatta crescere con un flood-fill sulla similarità delle feature DINO, e l'interrogazione della parte viene valutata solo sui punti all'interno di quella maschera (un'interrogazione LERF condizionata). Le prese di GraspNet generate da un emisfero di telecamere virtuali sono classificate secondo 0,95 × punteggio semantico (rilevanza mediana della parte all'interno del volume della presa) + 0,05 × confidenza di GraspNet.

Idee chiave

• Una maschera 3D dell'oggetto ricavata dalle feature DINO fornisce il raggruppamento degli oggetti che manca alla rilevanza CLIP di LERF, così le interrogazioni sulle parti coprono l'intero oggetto, compresi gli oggetti allungati.
• Limitare l'interrogazione della parte alla maschera dell'oggetto (interrogazione condizionata) contrasta il comportamento bag-of-words di CLIP.
• Il punteggio semantico deve dominare la classifica (peso 0,95): la presa geometrica a più alta confidenza sulla maschera dell'oggetto cade sulla parte corretta solo nel 18 % dei casi.
• Le feature CLIP multiscala contano per le parti: ConceptFusion, con un embedding CLIP per punto, sceglie l'oggetto giusto con frequenza simile ma la parte giusta molto meno spesso.
• I principali modi di fallimento sono parti visivamente simili (beccuccio e manico di una teiera), geometrie piccole (manico di una tazzina, grilletto di uno spruzzatore), categorie vicine (coltello da bistecca e coltello da pane) e la formulazione del prompt ('bottle neck' localizza meglio di 'neck').

Risultati principali

• Presa orientata alle parti con interrogazioni scritte da persone (49 prompt, 12 scene, Tabella 1): oggetto corretto 96 %, parte corretta 82 %, sollevamento riuscito per la parte corretta 69 %. L'abstract e la conclusione indicano un tasso di parte corretta dell'81 %.
• Il numero di oggetti fisici è indicato come 31 nell'abstract e nella Sezione 5, e come 39 nell'introduzione e nei risultati orientati al compito.
• ConceptFusion con profondità del NeRF: 77 % di oggetto corretto e 39 % di parte corretta (nessuna prova fisica); baseline a vista singola su 20 prompt e 5 scene: Semantic Abstraction 80 % oggetto / 35 % parte, OWL-ViT 85 % oggetto / 50 % parte.
• Con ChatGPT che sceglie oggetto e parte da una descrizione del compito (voto a maggioranza su sette risposte), la Tabella 3 riporta il 96 % di oggetto corretto e il 71 % di parte corretta; il testo dei Risultati indica il 92 % per la scelta della primitiva corretta e presenta il 71 % come successo sull'oggetto corretto.
• Tempi: acquisizione della scena 30 s, addestramento di LERF fino a 2k passi 78 s, interrogazione LERF-TOGO 10 s, con la pre-elaborazione distribuita su tre GPU NVIDIA 4090 durante l'acquisizione.

Limiti

• Gli autori affermano che il processo completo richiede alcuni minuti, il che può essere poco pratico per applicazioni in cui il tempo è critico.
• Gruppi di oggetti in primo piano tra loro collegati vengono uniti dalla maschera flood-fill di DINO invece di essere separati (secondo gli autori).
• Se l'interrogazione dell'oggetto corrisponde a più oggetti, come tazze identiche o un generico 'mug', il sistema ne sceglie uno arbitrariamente (secondo gli autori).
• Le espressioni referenziali o comparative come 'mug next to the plate' o 'biggest mug' non sono gestite (secondo gli autori).
• Ogni scena viene ricostruita una sola volta e gli oggetti vengono poi rimossi uno alla volta senza aggiornare la rappresentazione; la selezione della parte è sensibile alla formulazione, con interrogazioni sulle parti generate da LLM al 71 % di parte corretta contro l'82 % delle interrogazioni umane.

Impatto sul settore

Finalista del CoRL 2023 Best Paper / Best Student Paper Award e citato 159 volte. Gli autori rendono disponibili codice, dati e appendice tramite lerftogo.github.io, che contiene i link a un repository GitHub e a una cartella di dati.

Abstract

Afferrare gli oggetti per una specifica sotto-parte è spesso cruciale per la sicurezza e per eseguire i compiti successivi. Proponiamo LERF-TOGO, Language Embedded Radiance Fields for Task-Oriented Grasping of Objects, che usa modelli visione-linguaggio in zero-shot per produrre una distribuzione di prese su un oggetto data un'interrogazione in linguaggio naturale. A tal fine, costruiamo prima un LERF della scena, che distilla gli embedding di CLIP in un campo linguistico 3D multiscala interrogabile con il testo. Tuttavia, LERF non ha alcuna nozione dei confini degli oggetti, per cui le sue uscite di rilevanza restituiscono spesso attivazioni incomplete su un oggetto, insufficienti per afferrarlo. LERF-TOGO attenua questa mancanza di raggruppamento spaziale estraendo una maschera 3D dell'oggetto tramite feature DINO e interrogando poi LERF in modo condizionato su questa maschera per ottenere una distribuzione semantica sull'oggetto con cui classificare le prese di un pianificatore di prese pronto all'uso. Valutiamo la capacità di LERF-TOGO di afferrare parti di oggetti orientate al compito su 31 oggetti fisici, e troviamo che seleziona prese sulla parte corretta nell'81 % delle prove e afferra con successo nel 69 %. Codice, dati, appendice e dettagli sono disponibili su: lerftogo.github.io

Link

• arXiv 2309.07970: https://arxiv.org/abs/2309.07970
• DOI 10.48550/arXiv.2309.07970: https://doi.org/10.48550/arXiv.2309.07970
• PDF: https://proceedings.mlr.press/v229/rashid23a/rashid23a.pdf
• Codice: https://github.com/lerftogo/lerftogo
• Pagina del progetto: https://lerftogo.github.io/