RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
Autori: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Xi Chen, Krzysztof Choromanski, Tianli Ding, Danny Driess, Avinava Dubey, Chelsea Finn, Pete Florence, Chuyuan Fu, Montse Gonzalez Arenas, Keerthana Gopalakrishnan, Kehang Han, Karol Hausman, Alexander Herzog, Jasmine Hsu, Brian Ichter, Alex Irpan, Nikhil Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Isabel Leal, Lisa Lee, Tsang-Wei Edward Lee, Sergey Levine, Yao Lu, Henryk Michalewski, Igor Mordatch, Karl Pertsch, Kanishka Rao, Krista Reymann, Michael Ryoo, Grecia Salazar, Pannag Sanketi, Pierre Sermanet, Jaspiar Singh, Anikait Singh, Radu Soricut, Huong Tran, Vincent Vanhoucke, Quan Vuong, Ayzaan Wahid, Stefan Welker, Paul Wohlhart, Jialin Wu, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu, Brianna Zitkovich · CoRL 2023
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
Sottopone a co-fine-tuning modelli visione-linguaggio su dati robotici esprimendo le azioni come token di testo, abilitando un ragionamento semantico emergente e il trasferimento di conoscenza dal web al controllo robotico.
Perché è importante
RT-2 ha coniato il termine "modello Vision-Language-Action" (VLA) e ha dimostrato che la conoscenza su scala Internet può trasferirsi al controllo robotico. Questo articolo ha avviato un'intera direzione di ricerca e ha ispirato direttamente alternative open source come OpenVLA, il che lo rende uno degli articoli più influenti dell'apprendimento robotico moderno.
Problema
Le policy robotiche addestrate solo su dati robotici hanno una generalizzazione limitata e non possono sfruttare la vasta conoscenza semantica codificata nei modelli visione-linguaggio su scala Internet.
Soluzione proposta
RT-2 sottopone a co-fine-tuning modelli visione-linguaggio allo stato dell'arte sia su dati di traiettorie robotiche sia su compiti su scala Internet, esprimendo le azioni del robot come token di testo, e crea così un modello Vision-Language-Action unificato che eredita la conoscenza del web per il controllo robotico.
Idee chiave
- Rappresentare le azioni del robot come token di testo permette un co-addestramento senza soluzione di continuità con dati visione-linguaggio su scala Internet, senza modifiche architetturali
- Il preaddestramento su scala web si traduce direttamente in una migliore generalizzazione robotica, permettendo ai robot di comprendere oggetti e comandi nuovi mai visti nei dati di addestramento robotici
- Il ragionamento chain-of-thought si può applicare al controllo robotico, consentendo un ragionamento semantico in più fasi per interpretare compiti complessi
- Il paradigma VLA coniato da questo articolo ha stabilito una nuova categoria di modelli che collegano la comprensione del linguaggio e la manipolazione fisica
- Le capacità emergenti compaiono con la scala: il modello mostra capacità di ragionamento per cui non è stato addestrato esplicitamente, come l'uso di strumenti improvvisati
Risultati principali
- Generalizzazione nettamente migliore a oggetti nuovi rispetto a RT-1 e ad altre baseline su 6.000 prove di valutazione
- Mostra capacità emergenti, tra cui l'interpretazione di comandi assenti dai dati di addestramento del robot (ad esempio collocare oggetti su numeri o icone specifici)
- Il ragionamento chain-of-thought consente un ragionamento semantico in più fasi per comandi complessi come la scelta di uno strumento improvvisato
- Mantiene prestazioni elevate sui compiti originali di RT-1 acquisendo nuove capacità sostanziali dal trasferimento di conoscenza dal web
Limiti
- Modello a codice chiuso senza pesi né codice disponibili pubblicamente, il che limita la riproducibilità e l'adozione da parte della comunità
- Modello estremamente grande (55 miliardi di parametri) che richiede notevoli risorse di calcolo sia per l'addestramento sia per l'inferenza
- La latenza di inferenza può essere troppo alta per applicazioni robotiche reali in cui il tempo è critico
- Valutato principalmente su un'unica piattaforma robotica (il manipolatore mobile di Google), il che limita le affermazioni sulla generalizzazione cross-embodiment
Impatto sul settore
RT-2 ha definito la categoria dei modelli VLA e ha dimostrato che il preaddestramento visione-linguaggio su scala web può sbloccare un ragionamento emergente nel controllo robotico. Ha catalizzato un'ondata di ricerca sui foundation model per la robotica e ha motivato direttamente lo sviluppo di alternative VLA open source.
Abstract
Studiamo come i modelli visione-linguaggio addestrati su dati su scala Internet possano essere incorporati direttamente nel controllo robotico end-to-end per migliorare la generalizzazione e abilitare un ragionamento semantico emergente. Il nostro obiettivo è consentire a un singolo modello addestrato end-to-end sia di imparare a mappare le osservazioni del robot in azioni sia di godere dei benefici del preaddestramento su larga scala su dati linguistici e visione-linguaggio provenienti dal web. A tal fine, proponiamo di sottoporre a co-fine-tuning modelli visione-linguaggio allo stato dell'arte sia su dati di traiettorie robotiche sia su compiti visione-linguaggio su scala Internet, come il visual question answering. A differenza di altri approcci, proponiamo una ricetta semplice e generale per raggiungere questo obiettivo: per far rientrare sia le risposte in linguaggio naturale sia le azioni robotiche nello stesso formato, esprimiamo le azioni come token di testo e le incorporiamo direttamente nel set di addestramento del modello allo stesso modo dei token di linguaggio naturale. Chiamiamo questa categoria di modelli modelli Vision-Language-Action (VLA) e ne istanziamo un esempio, che chiamiamo RT-2. La nostra ampia valutazione (6k prove di valutazione) mostra che il nostro approccio porta a policy robotiche performanti e permette a RT-2 di ottenere una serie di capacità emergenti dall'addestramento su scala Internet. Tra queste, una generalizzazione nettamente migliore a oggetti nuovi, la capacità di interpretare comandi non presenti nei dati di addestramento del robot (come collocare un oggetto su un particolare numero o icona) e la capacità di svolgere un ragionamento rudimentale in risposta ai comandi dell'utente (come raccogliere l'oggetto più piccolo o più grande, o quello più vicino a un altro oggetto). Mostriamo inoltre che incorporare il ragionamento chain-of-thought permette a RT-2 di svolgere un ragionamento semantico in più fasi, ad esempio capire quale oggetto raccogliere per usarlo come martello improvvisato (una pietra), o quale tipo di bevanda sia più adatto a una persona stanca (una bevanda energetica).
Link
- arXiv 2307.15818: https://arxiv.org/abs/2307.15818
- PDF: https://arxiv.org/pdf/2307.15818.pdf
- Pagina del progetto: https://robotics-transformer2.github.io/