PaLM-E: An Embodied Multimodal Language Model
作者: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023
许可协议
根据 arXiv 的许可协议,以下内容仅依据摘要撰写。
摘要
大语言模型擅长各种复杂任务。然而,要在现实世界中实现通用推理,例如用于机器人问题,就会面临落地(grounding)的挑战。我们提出具身语言模型,将现实世界的连续传感器模态直接纳入语言模型,从而建立词语与感知之间的联系。具身语言模型的输入是多模态句子,其中交错排列着视觉、连续状态估计和文本的输入编码。我们将这些编码与一个预训练的大语言模型一起进行端到端训练,用于多项具身任务,包括序列化机器人操作规划、视觉问答和图像描述。评估表明,PaLM-E 这一单一的大型具身多模态模型,能够处理来自多种观测模态、多种具身形态的各类具身推理任务,并且表现出正迁移:模型受益于在互联网规模的语言、视觉和视觉-语言领域上进行的多样化联合训练。我们最大的模型 PaLM-E-562B 拥有 5620 亿参数,除了在机器人任务上训练外,它还是一个视觉-语言通才,在 OK-VQA 上达到最先进的性能,并且随着规模增大保留了通用语言能力。
链接
- arXiv 2303.03378: https://arxiv.org/abs/2303.03378
- PDF: https://arxiv.org/pdf/2303.03378