Language-Driven Representation Learning for Robotics

Autori: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Voltron unisce la ricostruzione mascherata condizionata dal linguaggio alla generazione di didascalie su Something-Something-v2 e batte MVP e R3M a parità di dati su una nuova suite di valutazione robotica di cinque problemi.

Perché è importante

L'apprendimento robotico ha bisogno di caratteristiche visive per la percezione, l'ancoraggio del linguaggio e il controllo, non solo per il controllo. A parità di dati di preaddestramento e capacità del modello, l'articolo mostra che il linguaggio durante il preaddestramento migliora i risultati anche su compiti senza input linguistico, e fornisce un'unica suite di valutazione per confrontare le rappresentazioni su questi problemi.

Problema

Le rappresentazioni visive preaddestrate su video umani, come MVP (masked autoencoding) e R3M (apprendimento contrastivo), sono state valutate principalmente sul controllo visuomotorio. Testate in modo più ampio, risultano incoerenti: MVP va bene nella previsione delle affordance di presa ma fatica nell'imitazione condizionata dal linguaggio, mentre R3M fa il contrario e degrada completamente nella previsione delle affordance di presa.

Soluzione proposta

Voltron fornisce fotogrammi video e relative didascalie a una pipeline di masked autoencoding il cui encoder Transformer codifica congiuntamente visione e linguaggio. Con probabilità α genera la didascalia dal contesto visivo invece di condizionarsi su di essa, bilanciando caratteristiche di ricostruzione di basso livello e semantica di alto livello; si studiano tre varianti: V–Cond (un fotogramma, α = 0), V–Dual (due fotogrammi, α = 0) e V–Gen (due fotogrammi, α = 0,5). Gli autori costruiscono anche una suite di valutazione di cinque problemi: previsione delle affordance di presa, ancoraggio delle espressioni referenziali, controllo visuomotorio a singolo compito in simulazione, imitazione condizionata dal linguaggio su un braccio Franka reale e valutazione zero-shot delle intenzioni.

Idee chiave

Condizionare la ricostruzione mascherata al linguaggio aiuta anche senza linguaggio al momento del test: V–Cond batte R-MVP e il più grande MVP (EgoSoup) nella previsione delle affordance di presa.
Nessuna variante di Voltron è la migliore ovunque: la generazione di linguaggio (V–Gen) è necessaria per la valutazione delle intenzioni ma penalizza alcuni compiti di controllo, e V–Cond a singolo fotogramma va bene nei compiti non episodici ma resta indietro rispetto ai modelli a due fotogrammi nel controllo.
La modellazione generativa del linguaggio ha retto meglio della modellazione mascherata del linguaggio: un M3AE riprodotto ha portato in overfitting la propria loss linguistica fino a perplessità 1 nelle prime 20 epoche e ha ottenuto punteggi più bassi in ogni valutazione testata.
Fondere visione e linguaggio all'interno dell'encoder durante il preaddestramento, anziché combinare in seguito codifiche separate di testo e immagine, è la spiegazione degli autori per i grandi guadagni nell'ancoraggio delle espressioni referenziali.
Il pooling ad attenzione multi-testa (MAP) per l'estrazione delle feature ha migliorato tutti i modelli ViT e ha quasi raddoppiato il successo nel controllo visuomotorio rispetto alla procedura di estrazione del lavoro originale su MVP.

Risultati principali

Previsione delle affordance di presa (ARC Grasping, ViT-S): V–Cond ottiene 85,15 / 80,71 / 47,45 di precisione a Top-1 / Top-1% / Top-5%, contro 72,94 / 61,47 / 39,77 di R-MVP e 40,38 / 40,55 / 28,66 di R-R3M (Tabella 2).
Ancoraggio delle espressioni referenziali (OCID-Ref, accuratezza totale a IoU 0,25): V–Cond 89,38 contro R-R3M 63,30, R-MVP + DistilBERT 49,58 e CLIP ViT-B 68,35 (Tabella 3).
Scalare V–Cond da ViT-S (22M parametri) a ViT-B (86M) porta la precisione Top-5% di presa da 47,45 a 62,33 e l'accuratezza totale sulle espressioni referenziali da 89,38 a 90,77.
Ablazione (Tabella 4): senza linguaggio, il Top-1% di presa scende da 80,71 a 65,83, l'accuratezza sulle espressioni referenziali da 89,38 a 53,44 e il successo su Franka Kitchen (n = 25) da 38,2 ± 5,09 a 33,1 ± 4,79; R-M3AE ottiene 52,79, 51,61 e 24,0 ± 4,21.
Valutazione zero-shot delle intenzioni sui video WHiRL: V–Gen segue l'avanzamento di 'aprire il rubinetto' sia nei video umani sia in quelli del robot, mentre CLIP e R3M danno punteggi rumorosi (qualitativo, Figura 7).
Imitazione condizionata dal linguaggio su robot reale (5 compiti, 20 dimostrazioni ciascuno): i modelli Voltron danno il successo più alto e, insieme a R-MVP, restano robusti ai distrattori visivi; questi numeri sono riportati solo nella Figura 6.

Limiti

Gli autori non disponevano della capacità di calcolo per addestrare alla scala dei MVP e R3M originali; i confronti diretti usano le loro riproduzioni su Something-Something-v2, e i modelli ufficiali MVP, R3M e CLIP sono indicati come non direttamente confrontabili (secondo gli autori).
Nessuna rappresentazione è la più forte su tutti i compiti; restano compromessi tra caratteristiche di basso e di alto livello (secondo gli autori).
I tassi di successo assoluti nel controllo su Franka Kitchen restano bassi; apprendere policy ad anello chiuso da dati limitati resta un problema aperto (secondo gli autori).
Il preaddestramento ha usato al massimo contesti di due fotogrammi perché quattro fotogrammi superavano la memoria disponibile, e α = 1 (sola generazione) non è stato valutato.
I punteggi di intenzione non sono perfetti: dopo l'apertura del rubinetto i punteggi restano alti per il video umano ma calano per il video del robot, per ragioni che gli autori non hanno saputo spiegare.

Impatto sul settore

Finalista per il premio al miglior articolo di RSS 2023 (Best Paper Award), con 242 citazioni. Gli autori rilasciano i modelli preaddestrati V–Cond, V–Dual e V–Gen (oltre a un V–Cond ViT-Base e checkpoint intermedi), il codice di preaddestramento e di adattamento, i dati preelaborati di Something-Something-v2 con gli esatti batch di addestramento e una suite di valutazione autonoma.

Abstract

Lavori recenti sull'apprendimento di rappresentazioni visive per la robotica dimostrano la praticabilità dell'apprendimento da grandi dataset video di persone che svolgono compiti quotidiani. Sfruttando metodi come il masked autoencoding e l'apprendimento contrastivo, queste rappresentazioni mostrano un forte trasferimento all'apprendimento di policy per il controllo visuomotorio. Ma l'apprendimento robotico comprende un insieme diversificato di problemi oltre al controllo, tra cui la previsione delle affordance di presa, l'apprendimento per imitazione condizionato dal linguaggio e la valutazione delle intenzioni per la collaborazione uomo-robot. In primo luogo, dimostriamo che le rappresentazioni esistenti danno risultati incoerenti su questi compiti: gli approcci di masked autoencoding colgono caratteristiche spaziali di basso livello a scapito della semantica di alto livello, mentre gli approcci di apprendimento contrastivo colgono l'opposto. Introduciamo poi Voltron, un framework per l'apprendimento di rappresentazioni guidato dal linguaggio a partire da video umani e dalle relative didascalie. Voltron bilancia la ricostruzione visiva condizionata dal linguaggio, per apprendere pattern visivi di basso livello, e la generazione di linguaggio ancorata visivamente, per codificare la semantica di alto livello. Costruiamo inoltre una nuova suite di valutazione che copre cinque distinti problemi di apprendimento robotico, una piattaforma unificata per valutare in modo olistico le rappresentazioni visive per la robotica. Attraverso esperimenti completi e controllati su tutti e cinque i problemi, troviamo che le rappresentazioni guidate dal linguaggio di Voltron superano il precedente stato dell'arte, soprattutto nei problemi mirati che richiedono caratteristiche di livello più alto.

Link

arXiv 2302.12766: https://arxiv.org/abs/2302.12766
DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
PDF: https://arxiv.org/pdf/2302.12766v1
Codice: https://github.com/siddk/voltron-robotics
Pagina del progetto: https://sites.google.com/view/voltron-robotics