PaLM-E: An Embodied Multimodal Language Model
Autori: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023
Licenze
- Open access
- Articolo: arXiv.org perpetual, non-exclusive license 1.0
In base alla licenza di arXiv, tutto ciò che segue è scritto solo a partire dall'abstract.
Abstract
I grandi modelli linguistici eccellono in un'ampia gamma di compiti complessi. Tuttavia, rendere possibile l'inferenza generale nel mondo reale, ad esempio per problemi di robotica, pone la sfida del grounding. Proponiamo modelli linguistici incarnati che incorporano direttamente nei modelli linguistici modalità sensoriali continue del mondo reale, stabilendo così il collegamento tra parole e percetti. L'input del nostro modello linguistico incarnato sono frasi multimodali che alternano codifiche di input visivi, di stima continua dello stato e testuali. Addestriamo queste codifiche end-to-end, insieme a un grande modello linguistico preaddestrato, per più compiti incarnati, tra cui la pianificazione sequenziale della manipolazione robotica, il visual question answering e la generazione di didascalie. Le nostre valutazioni mostrano che PaLM-E, un unico grande modello multimodale incarnato, può affrontare una varietà di compiti di ragionamento incarnato, a partire da una varietà di modalità di osservazione, su più embodiment, e inoltre mostra un trasferimento positivo: il modello trae beneficio da un addestramento congiunto e diversificato sui domini del linguaggio, della visione e della visione-linguaggio su scala Internet. Il nostro modello più grande, PaLM-E-562B con 562 miliardi di parametri, oltre a essere addestrato su compiti di robotica, è un generalista visione-linguaggio con prestazioni allo stato dell'arte su OK-VQA e mantiene capacità linguistiche generaliste al crescere della scala.
Link
- arXiv 2303.03378: https://arxiv.org/abs/2303.03378
- PDF: https://arxiv.org/pdf/2303.03378