Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

PaLM-E: An Embodied Multimodal Language Model

作者: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023

授權條款

  • 開放取用
  • 論文: arXiv.org perpetual, non-exclusive license 1.0

依 arXiv 的授權條款,以下內容僅依據摘要撰寫。

摘要

大型語言模型擅長各式各樣的複雜任務。然而,要在真實世界中實現通用推論,例如處理機器人問題,就會遇到落地(grounding)的挑戰。我們提出具身語言模型,將真實世界的連續感測器模態直接納入語言模型,藉此建立文字與感知之間的連結。具身語言模型的輸入是多模態句子,其中交錯排列視覺、連續狀態估計與文字的輸入編碼。我們將這些編碼與一個預訓練的大型語言模型一起進行端對端訓練,用於多項具身任務,包括序列式機器人操作規劃、視覺問答與影像描述。我們的評估顯示,PaLM-E 這個單一的大型具身多模態模型,能處理來自多種觀測模態、多種形態的各類具身推論任務,而且展現正遷移:模型受益於在網際網路規模的語言、視覺與視覺語言領域上進行的多元聯合訓練。我們最大的模型 PaLM-E-562B 有 5,620 億個參數,除了以機器人任務訓練之外,也是一個視覺語言通才,在 OK-VQA 上達到頂尖表現,並隨著規模增加保有通用的語言能力。

連結

  • arXiv 2303.03378: https://arxiv.org/abs/2303.03378
  • PDF: https://arxiv.org/pdf/2303.03378

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。