GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot Manipulation

Autori: Chi-Lam Cheang, Guangzeng Chen, Ya Jing, Tao Kong, Hang Li, Yifeng Li, Yuxiao Liu, Hongtao Wu, Jiafeng Xu, Yichu Yang, Hanbo Zhang, Minzhao Zhu · arXiv 2024 (technical report)

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un modello in stile GPT preaddestrato a prevedere video su 38M clip dal web e poi sottoposto a fine-tuning per produrre fotogrammi futuri e traiettorie d'azione; 97,7 % di successo su 105 compiti reali da tavolo.

Perché è importante

Il report mostra che il video del web può fornire gran parte delle conoscenze che una policy di manipolazione dovrebbe altrimenti ricavare dai dati robotici: GR-2 raggiunge il 73,9 % di successo su 105 compiti con solo circa 50 dimostrazioni per compito e circa raddoppia il successo di GR-1 con sfondi e cucine mai visti. I suoi test di bin picking su 122 oggetti, inclusi oggetti trasparenti, deformabili e riflettenti, puntano a un compito industriale che, come osservano gli autori, può essere difficile per i metodi basati su modelli.

Problema

Raccogliere dati robotici su larga scala è lento e i sistemi con robot reali scalano male, il che limita quanto possa diventare generale una policy di manipolazione. Un agente generalista deve apprendere molte abilità e cavarsela comunque con sfondi, ambienti, oggetti e istruzioni nuovi. Il precedente GR-1 degli autori aveva mostrato che il preaddestramento con generazione video aiuta l'apprendimento delle policy, ma usava 0,8 milioni di video e generalizzava debolmente a scene mai viste.

Soluzione proposta

GR-2 è un Transformer in stile GPT condizionato dal linguaggio: un encoder di testo congelato tokenizza l'istruzione, un VQGAN congelato trasforma ogni fotogramma in token discreti e gli stati del robot (posa dell'end effector e stato della pinza) passano attraverso strati lineari. Viene prima preaddestrato a prevedere fotogrammi futuri su 38 milioni di clip testo-video (oltre 50 miliardi di token secondo l'abstract, circa 50 miliardi secondo la Sezione 2.1) provenienti da dataset di attività umane e da dataset robotici pubblici, poi sottoposto a fine-tuning su dati robotici multivista per prevedere immagini future insieme a una traiettoria d'azione prodotta da un VAE condizionale. Sul braccio reale, un algoritmo di controllo del corpo intero smussa la traiettoria cartesiana e la converte in comandi ai giunti eseguiti a 200 Hz con vincoli di collisione.

Idee chiave

• Scalare il preaddestramento dagli 0,8 milioni di video di GR-1 a 38 milioni di clip, insieme a un'architettura costruita per portare le conoscenze preaddestrate nel fine-tuning, ha circa raddoppiato il successo di GR-1 negli scenari Unseen Backgrounds e Unseen Environments.
• Generare traiettorie d'azione anziché azioni a singolo passo si è rivelato cruciale sia per la fluidità della traiettoria sia per le prestazioni in tempo reale.
• I video previsti corrispondono strettamente alle esecuzioni reali, quindi l'output delle azioni di fatto 'riproduce' il video previsto; gli autori indicano il miglioramento della generazione video come via per ottenere azioni migliori.
• L'aumento sintetico dei dati (inserimento di oggetti basato sulla diffusione, sostituzione dello sfondo basata su SAM, rigenerazione del video) ha portato il successo in Unseen Environments dal 71,7 % all'87,0 %.
• La loss di validazione della previsione video e il tasso di successo sul robot reale sono migliorati entrambi con la crescita dei parametri addestrabili da 30M a 719M.

Risultati principali

• Apprendimento multi-task: 97,7 % di successo medio su 105 compiti da tavolo che coprono 8 abilità nello scenario Simple, dopo un fine-tuning su circa 40.000 traiettorie in teleoperazione.
• Generalizzazione: 71,4 % in Unseen Backgrounds e 71,7 % in Unseen Environments, circa il doppio di GR-1; con l'aumento dei dati, 87,0 % in Unseen Environments e 74,7 % in media sui tre scenari di generalizzazione; 55,8 % in Unseen Manipulation.
• Addestramento con pochi dati, con circa 50 traiettorie per compito (circa 1/8 dei dati): 73,9 % nello scenario Simple, superando GR-1 in tutti e tre gli scenari di generalizzazione.
• Bin picking end-to-end addestrato su circa 94.000 traiettorie di 55 oggetti e testato su 122 oggetti (67 mai visti): successo medio del 79,0 % contro il 33,3 % di GR-1.
• CALVIN ABCD→D: 98,6 % di successo per 1 compito e 85,9 % per 5 compiti di fila (GR-1: 94,9 % e 73,1 %), con la lunghezza media che sale da 4,21 a 4,64.
• Il modello predefinito ha 230M parametri, di cui 95M addestrabili; gli esperimenti di scaling usano 30M, 95M, 312M e 719M parametri addestrabili.

Limiti

• Gli autori indicano la manipolazione mai vista come l'area più debole (55,8 %); i fallimenti tipici sono il mancato prelievo di oggetti mai visti dalle forme nuove e il prelievo dell'oggetto sbagliato quando ne viene chiesto uno mai visto.
• Il lavoro futuro che dichiarano è migliorare la generalizzazione e la robustezza della previsione delle azioni, soprattutto per oggetti nuovi e nuove abilità.
• Tutti i risultati su robot reale provengono da un'unica piattaforma, un braccio Kinova Gen3 con una pinza Robotiq 2F-85; il trasferimento ad altri embodiment non è testato.
• Il report non fornisce dati sul calcolo di addestramento, sull'hardware di inferenza o sulla latenza della policy, e la maggior parte dei numeri per scenario compare solo nelle figure.
• Il testo non indica alcun rilascio del codice, dei pesi del modello o dei dataset robotici.

Impatto sul settore

Questo report tecnico di ByteDance Research ha 377 citazioni. Rimanda a una pagina del progetto (gr2-manipulation.github.io); il testo non indica un rilascio del codice, dei pesi del modello o dei dati.

Abstract

Presentiamo GR-2, un agente robotico generalista allo stato dell'arte per una manipolazione robotica versatile e generalizzabile. GR-2 viene prima preaddestrato su un enorme numero di video di Internet per catturare la dinamica del mondo. Questo preaddestramento su larga scala, che coinvolge 38 milioni di clip video e oltre 50 miliardi di token, dota GR-2 della capacità di generalizzare a un'ampia gamma di compiti e ambienti robotici durante il successivo apprendimento della policy. In seguito, GR-2 viene sottoposto a fine-tuning sia per la generazione di video sia per la previsione delle azioni usando traiettorie robotiche. Mostra capacità di apprendimento multi-task notevoli, raggiungendo un tasso di successo medio del 97,7 % su oltre 100 compiti. Inoltre, GR-2 dimostra un'eccezionale generalizzazione a scenari nuovi e mai visti prima, tra cui sfondi, ambienti, oggetti e compiti nuovi. In particolare, GR-2 scala efficacemente con la dimensione del modello, a conferma del suo potenziale di crescita e applicazione continue. Pagina del progetto: https://gr2-manipulation.github.io.

Link

• arXiv 2410.06158: https://arxiv.org/abs/2410.06158
• DOI https://doi.org/10.48550/arxiv.2410.06158: https://doi.org/https://doi.org/10.48550/arxiv.2410.06158
• PDF: https://arxiv.org/pdf/2410.06158v1
• Pagina del progetto: https://gr2-manipulation.github.io/