VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

Autori: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un LLM scrive codice Python che riempie mappe voxel 3D di affordance e di evitamento a partire da rilevamenti visione-linguaggio; un pianificatore le trasforma in traiettorie a 6 DoF ad anello chiuso senza addestramento aggiuntivo.

Perché è importante

Nessun componente viene addestrato per i compiti: la conoscenza del modello linguistico è ancorata direttamente nello spazio di osservazione 3D del robot e utilizzata da un pianificatore standard. Poiché il pianificatore ripianifica a partire da osservazioni nuove, l'esecuzione tollera disturbi come bersagli spostati o un cassetto riaperto dopo che il robot lo aveva chiuso.

Problema

I pianificatori robotici basati su LLM di solito richiamano una libreria di primitive di movimento predefinite, e acquisire queste abilità è un collo di bottiglia perché i dati robotici su larga scala sono scarsi. Gli LLM inoltre non possono produrre direttamente come testo azioni di controllo ad alta frequenza e ad alta dimensionalità. L'articolo si chiede come usare la conoscenza degli LLM a livello di azioni a grana fine, per istruzioni e oggetti a insieme aperto, senza raccolta di dati per compito né primitive progettate a mano.

Soluzione proposta

Data un'istruzione e osservazioni RGB-D, GPT-4 genera codice Python che richiama API di percezione (rilevamento con OWL-ViT, maschere di Segment Anything, tracciamento con XMem) e operazioni NumPy per riempire mappe voxel di 100×100×100 per affordance, evitamento, rotazione dell'end-effector, velocità e stato della pinza. Un pianificatore di movimento a ricerca greedy trova waypoint dell'end-effector privi di collisioni su una mappa di costo costruita dalle mappe pesate di affordance e di evitamento, esegue il primo waypoint e ripianifica a 5 Hz in un anello di controllo predittivo basato su modello. Per i compiti ricchi di contatti, le traiettorie zero-shot orientano l'esplorazione mentre un modello dinamico MLP viene appreso online.

Idee chiave

• Gli LLM sono scarsi nell'emettere azioni di controllo grezze ma bravi a inferire affordance e vincoli, e possono esprimerli come codice che scrive valori in mappe voxel 3D.
• Comporre mappe di valore spaziali in un'ottimizzazione congiunta ha generalizzato meglio di un LLM che parametrizza un elenco fisso di primitive (una variante di Code as Policies) e meglio di una U-Net addestrata a prevedere mappe di costo.
• Le traiettorie zero-shot per compiti ricchi di contatti sono spesso sensate ma insufficienti; usate come prior di esplorazione, rendono praticabile l'apprendimento di un modello dinamico.
• In simulazione VoxPoser ha avuto l'errore di specifica più basso tra i metodi confrontati; nel mondo reale la maggior parte degli errori è venuta dalla percezione, per esempio dalla sensibilità del rilevatore alle pose iniziali degli oggetti e alle parti degli oggetti.

Risultati principali

• Mondo reale, cinque compiti con 10 prove ciascuno: 88,0 % di successo in scene statiche e 70,0 % con disturbi, contro 24,0 % e 0,0 % di LLM + primitive.
• Simulazione (13 compiti, 2766 istruzioni uniche, 20 episodi per compito), successo in interazione con oggetti / composizione spaziale: 64,0 % / 77,5 % con istruzioni e attributi visti, 60,0 % / 58,8 % con attributi non visti e 65,0 % / 76,7 % con istruzioni e attributi non visti.
• Nel contesto con istruzioni e attributi non visti le baseline hanno raggiunto 0,0 % / 0,0 % (U-Net + pianificatore di movimento) e 17,5 % / 25,0 % (LLM + primitive).
• Compiti simulati ricchi di contatti: il successo zero-shot del 6,7 % (porta), 3,3 % (finestra) e 18,3 % (frigorifero) è salito all'88,3 %, 80,0 % e 91,7 % dopo circa 142 s, 137 s e 71 s di interazione online con il prior zero-shot; esplorare senza il prior ha superato il limite di 12 ore.
• La configurazione reale ripianifica a 5 Hz mentre due telecamere Azure Kinect trasmettono RGB-D a 20 Hz.

Limiti

• Secondo gli autori: VoxPoser si basa su moduli di percezione esterni, il che limita i compiti che richiedono un ragionamento visivo olistico o la comprensione della geometria a grana fine degli oggetti.
• Secondo gli autori: serve ancora un modello dinamico generico per gestire i compiti ricchi di contatti con lo stesso livello di generalizzazione; i compiti reali centrati sugli oggetti hanno usato un modello euristico di spinta planare e una primitiva di spinta predefinita.
• Secondo gli autori: il pianificatore di movimento considera solo le traiettorie dell'end-effector, mentre la pianificazione dell'intero braccio è probabilmente una scelta progettuale migliore.
• Secondo gli autori: i prompt dell'LLM sono progettati a mano (5-20 query di esempio per ogni programma del modello linguistico).
• Per la maggior parte dei compiti la scena è assunta statica, a parte la ripianificazione, e la scomposizione delle istruzioni in sotto-compiti da parte dell'LLM non è studiata a fondo.

Impatto sul settore

Citato 735 volte (numero come riportato). La pagina ufficiale del progetto contiene il link al repository del codice di VoxPoser, e l'articolo pubblica i prompt completi dell'LLM sul sito del progetto.

Abstract

È stato dimostrato che i modelli linguistici di grandi dimensioni (LLM) possiedono una ricchezza di conoscenza utilizzabile che può essere estratta per la manipolazione robotica sotto forma di ragionamento e pianificazione. Nonostante i progressi, la maggior parte si basa ancora su primitive di movimento predefinite per svolgere le interazioni fisiche con l'ambiente, il che resta un importante collo di bottiglia. In questo lavoro miriamo a sintetizzare traiettorie robotiche, cioè una sequenza densa di waypoint dell'end-effector a 6 DoF, per una grande varietà di compiti di manipolazione dati un insieme aperto di istruzioni e un insieme aperto di oggetti. Ci riusciamo osservando innanzitutto che gli LLM eccellono nell'inferire affordance e vincoli a partire da un'istruzione in linguaggio libero. Ancora più importante, sfruttando la loro capacità di scrivere codice, possono interagire con un modello visione-linguaggio (VLM) per comporre mappe di valore 3D che ancorano la conoscenza nello spazio di osservazione dell'agente. Le mappe di valore composte vengono poi usate in un framework di pianificazione basato su modello per sintetizzare in zero-shot traiettorie robotiche ad anello chiuso, robuste alle perturbazioni dinamiche. Dimostriamo inoltre come il framework proposto possa trarre vantaggio dall'esperienza online apprendendo in modo efficiente un modello dinamico per scene che comportano interazioni ricche di contatti. Presentiamo uno studio su larga scala del metodo proposto in ambienti simulati e con robot reali, che mostra la capacità di svolgere una grande varietà di compiti quotidiani di manipolazione specificati in linguaggio naturale libero. Video e codice su https://voxposer.github.io

Link

• arXiv 2307.05973: https://arxiv.org/abs/2307.05973
• DOI https://doi.org/10.48550/arxiv.2307.05973: https://doi.org/https://doi.org/10.48550/arxiv.2307.05973
• PDF: https://proceedings.mlr.press/v229/huang23b/huang23b.pdf
• Codice: https://github.com/huangwl18/VoxPoser
• Pagina del progetto: https://voxposer.github.io/