PaLM-E: An Embodied Multimodal Language Model
Autoren: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023
Lizenzen
- Open Access
- Paper: arXiv.org perpetual, non-exclusive license 1.0
Gemäß der Lizenz von arXiv beruht alles Folgende nur auf dem Abstract.
Zusammenfassung
Große Sprachmodelle glänzen bei einer Vielzahl komplexer Aufgaben. Allgemeine Inferenz in der realen Welt zu ermöglichen, etwa für Robotikprobleme, wirft jedoch das Problem des Groundings auf. Wir schlagen verkörperte Sprachmodelle vor, die kontinuierliche Sensormodalitäten der realen Welt direkt in Sprachmodelle einbinden und so die Verbindung zwischen Wörtern und Wahrnehmungen herstellen. Die Eingabe unseres verkörperten Sprachmodells sind multimodale Sätze, in denen sich Kodierungen von visuellen Eingaben, kontinuierlicher Zustandsschätzung und Text abwechseln. Wir trainieren diese Kodierungen Ende-zu-Ende zusammen mit einem vortrainierten großen Sprachmodell für mehrere verkörperte Aufgaben, darunter sequenzielle Planung von Robotermanipulation, visuelle Fragebeantwortung und Bildbeschreibung. Unsere Auswertungen zeigen, dass PaLM-E, ein einziges großes verkörpertes multimodales Modell, eine Vielzahl verkörperter Schlussfolgerungsaufgaben aus einer Vielzahl von Beobachtungsmodalitäten und auf mehreren Verkörperungen bewältigen kann und darüber hinaus positiven Transfer zeigt: Das Modell profitiert von vielfältigem gemeinsamem Training über Sprach-, Bild- und Bild-Sprach-Domänen im Internetmaßstab. Unser größtes Modell, PaLM-E-562B mit 562 Mrd. Parametern, ist nicht nur auf Robotikaufgaben trainiert, sondern auch ein Bild-Sprach-Generalist mit State-of-the-Art-Leistung auf OK-VQA, und behält mit zunehmender Größe generalistische Sprachfähigkeiten bei.
Links
- arXiv 2303.03378: https://arxiv.org/abs/2303.03378
- PDF: https://arxiv.org/pdf/2303.03378