PaLM-E: An Embodied Multimodal Language Model
Autores: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023
Licenças
- Acesso aberto
- Artigo: arXiv.org perpetual, non-exclusive license 1.0
Conforme a licença do arXiv, tudo o que segue foi escrito apenas a partir do resumo.
Resumo
Grandes modelos de linguagem se destacam em uma ampla variedade de tarefas complexas. No entanto, viabilizar a inferência geral no mundo real, por exemplo para problemas de robótica, traz o desafio da ancoragem. Propomos modelos de linguagem corporificados que incorporam diretamente modalidades contínuas de sensores do mundo real aos modelos de linguagem e, assim, estabelecem a ligação entre palavras e percepções. A entrada do nosso modelo de linguagem corporificado são frases multimodais que intercalam codificações de entradas visuais, de estimativa de estado contínua e textuais. Treinamos essas codificações de ponta a ponta, em conjunto com um grande modelo de linguagem pré-treinado, para várias tarefas corporificadas, incluindo planejamento sequencial de manipulação robótica, resposta a perguntas visuais e legendagem de imagens. Nossas avaliações mostram que o PaLM-E, um único grande modelo multimodal corporificado, pode lidar com diversas tarefas de raciocínio corporificado, a partir de diversas modalidades de observação, em múltiplas corporificações e, além disso, apresenta transferência positiva: o modelo se beneficia de um treinamento conjunto diversificado nos domínios de linguagem, visão e visão-linguagem em escala de internet. Nosso maior modelo, o PaLM-E-562B, com 562 bilhões de parâmetros, além de ser treinado em tarefas de robótica, é um generalista de visão-linguagem com desempenho de ponta no OK-VQA e mantém capacidades linguísticas generalistas à medida que a escala aumenta.
Links
- arXiv 2303.03378: https://arxiv.org/abs/2303.03378
- PDF: https://arxiv.org/pdf/2303.03378