Foundation models in robotics: Applications, challenges, and the future

Autori: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Rassegna dei foundation model in robotica, raggruppati in processo decisionale e controllo, percezione e IA incarnata (embodied AI), che si chiude con otto sfide aperte, dalla scarsità di dati alla sicurezza e all'uso in tempo reale.

Perché è importante

Gli ingegneri che devono decidere se usare un LLM, un VLM o un transformer robotico in un robot possono servirsi delle categorie della rassegna e della sua tabella II, che riporta il numero di parametri e le frequenze di inferenza, come 1-3 Hz per RT-2 contro 20 Hz per Gato. La sezione sulle sfide indica preoccupazioni pratiche di messa in opera: modelli disponibili solo in cloud e latenza di rete, allucinazioni, incertezza calibrata e test di sicurezza. Gli autori affermano inoltre che molti risultati sul processo decisionale sono difficili da confrontare perché dipendono da stack hardware personalizzati o da simulatori privi di fisica.

Problema

I modelli di deep learning in robotica sono stati di solito addestrati su piccoli dataset raccolti per un singolo compito, il che limita quanto bene si adattano a nuovi compiti e contesti. I foundation model preaddestrati su dati su scala di internet hanno generalizzato bene nel linguaggio e nella visione, e i ricercatori di robotica hanno iniziato a collegarli ai robot, ad adattarli per i robot o a costruirli per i robot. Il lavoro in questo ambito è distribuito tra percezione, pianificazione e controllo, senza un'unica mappa di ciò che è stato provato e di ciò che resta irrisolto.

Soluzione proposta

Si tratta di una rassegna e non propone alcun metodo proprio. Limita il proprio ambito ad articoli di contesto, articoli di robotica (foundation model usati in modalità plug-and-play, sottoposti a fine-tuning o costruiti ex novo per i robot) e articoli affini alla robotica, e copre il contesto dei foundation model, il processo decisionale e il controllo dei robot (apprendimento per imitazione condizionato dal linguaggio, RL assistito dal linguaggio, apprendimento del valore, pianificazione dei compiti con LLM e generazione di codice, apprendimento in contesto, transformer robotici, navigazione e manipolazione a vocabolario aperto), la percezione (rilevamento a vocabolario aperto, segmentazione, rappresentazione di scene 3D, affordance, modelli predittivi) e l'IA incarnata (embodied AI) con i suoi simulatori. Si chiude con sfide e direzioni future, e riporta in tabella dimensione, velocità di inferenza e hardware di addestramento dei modelli preaddestrati specifici per i robot.

Idee chiave

La rassegna suddivide il lavoro in robotica in tre modi di usare i foundation model: uso plug-and-play di modelli esistenti, loro adattamento o fine-tuning, e costruzione di nuovi foundation model specifici per i robot.
Le abilità fisiche apprese dagli attuali transformer robotici sono limitate alla distribuzione di abilità presenti nei dati del robot; gli autori suggeriscono i dati di movimento ricavati da video di persone come una via per superare questo limite.
Molti foundation model sono raggiungibili solo tramite API in cloud, quindi la latenza dipende da reti che il robot non controlla; gli autori suggeriscono un'autonomia locale di riserva e la distillazione in modelli più piccoli a bordo.
Per i robot critici per la sicurezza gli autori sostengono che le stime di incertezza debbano essere calibrate in senso frequentista, e presentano l'uso della predizione conforme in KnowNo come caso di studio.
I simulatori privi di fisica come Gibson, Habitat, RoboTHOR e VirtualHome sacrificano la fisica di basso livello in cambio della fedeltà visiva, cosa che gli autori collegano a un ampio divario sim-to-real e a una scarsa riproducibilità.

Risultati principali

Essendo una rassegna, non riporta esperimenti propri; la bibliografia arriva a 233 voci tra articoli di contesto, di robotica e affini alla robotica.
La tabella II elenca modelli preaddestrati specifici per i robot con dimensione e frequenza di inferenza, per esempio RT-1 con 35M parametri e 3 Hz, RT-2 e RT-2-X con 55B parametri e 1-3 Hz su un servizio cloud multi-TPU, Gato con 1,2B e 20 Hz, e ViNT con 31M e 4 Hz.
La stessa tabella elenca PACT (12M parametri) a 10 Hz su un computer edge Nvidia Xavier NX e a 50 Hz su 8 GPU Nvidia V100, e PaLM-E-562B con sotto-obiettivi linguistici a 1 Hz più controllo di basso livello a 5 Hz.
La rassegna riporta che RT-1 è stato addestrato su oltre 130k episodi di robot reali che coprono più di 700 compiti, raccolti in 17 mesi con 13 robot.
La rassegna riporta che il dataset RT-X combina dati di 22 robot e 21 istituzioni, coprendo 527 abilità (160.266 compiti).
Elenca otto aree di sfida: scarsità di dati, prestazioni in tempo reale, limiti della rappresentazione multimodale, quantificazione dell'incertezza, valutazione della sicurezza, plug-and-play contro costruzione di nuovi modelli, elevata variabilità dei contesti robotici, e benchmarking e riproducibilità.

Limiti

Gli autori definiscono questa versione una versione preliminare che intendono aggiornare, quindi fotografa il settore a dicembre 2023.
L'ambito è limitato a tre categorie di articoli (contesto, robotica, affini alla robotica), e gli autori notano un ambito molto più ristretto rispetto a rassegne più ampie sui foundation model.
Gli autori affermano che gli articoli della sezione sul processo decisionale sono più difficili da valutare e confrontare rispetto a quelli delle sezioni su percezione o IA incarnata (embodied AI), perché si basano su stack hardware personalizzati o su simulatori privi di fisica.
La tabella II ha campi vuoti dove gli articoli di origine non riportano dati, quindi velocità di inferenza e hardware non sono disponibili per ogni modello.

Impatto sul settore

La rassegna ha 471 citazioni. Insieme a essa gli autori hanno rilasciato un progetto GitHub, Awesome-Robotics-Foundation-Models, che descrivono come una versione preliminare che intendono continuare ad aggiornare.

Abstract

Passiamo in rassegna le applicazioni dei foundation model preaddestrati in robotica. I modelli tradizionali di deep learning in robotica vengono addestrati su piccoli dataset costruiti per compiti specifici, il che ne limita l'adattabilità ad applicazioni diverse. Al contrario, i foundation model preaddestrati su dati su scala di internet sembrano avere capacità di generalizzazione superiori e in alcuni casi mostrano una capacità emergente di trovare soluzioni zero-shot a problemi che non sono presenti nei dati di addestramento. I foundation model potrebbero avere il potenziale di migliorare vari componenti dello stack di autonomia del robot, dalla percezione al processo decisionale e al controllo. Per esempio, i grandi modelli linguistici possono generare codice o fornire ragionamento di senso comune, mentre i modelli visione-linguaggio consentono il riconoscimento visivo a vocabolario aperto. Tuttavia restano importanti sfide di ricerca aperte, in particolare riguardo alla scarsità di dati di addestramento rilevanti per i robot, alle garanzie di sicurezza e alla quantificazione dell'incertezza, e all'esecuzione in tempo reale. In questa rassegna studiamo articoli recenti che hanno usato o costruito foundation model per risolvere problemi di robotica. Esploriamo come i foundation model contribuiscono a migliorare le capacità dei robot negli ambiti della percezione, del processo decisionale e del controllo. Discutiamo le sfide che ostacolano l'adozione dei foundation model nell'autonomia dei robot e indichiamo opportunità e possibili percorsi per progressi futuri. Il progetto GitHub corrispondente a questo articolo (versione preliminare. Ci impegniamo a migliorare e aggiornare ulteriormente questo lavoro per garantirne la qualità e la pertinenza) si trova qui: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

Link

arXiv 2312.07843: https://arxiv.org/abs/2312.07843
DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
PDF: https://arxiv.org/pdf/2312.07843v1
Pagina del progetto: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models