PaLM-E: An Embodied Multimodal Language Model
저자: Danny Driess, Fei Xia, Mehdi S. M. Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid, Jonathan Tompson, Quan Vuong, Tianhe Yu, Wenlong Huang, Yevgen Chebotar, Pierre Sermanet, Daniel Duckworth, Sergey Levine, Vincent Vanhoucke, Karol Hausman, Marc Toussaint, Klaus Greff, Andy Zeng, Igor Mordatch, Pete Florence · ICML 2023
라이선스
arXiv의 라이선스에 따라 아래 내용은 모두 초록만으로 작성했습니다.
초록
대규모 언어 모델은 광범위한 복잡한 작업에서 뛰어난 성능을 보입니다. 그러나 예를 들어 로봇 공학 문제처럼 현실 세계에서 일반적인 추론을 가능하게 하려면 그라운딩이라는 과제가 생깁니다. 우리는 현실 세계의 연속적인 센서 모달리티를 언어 모델에 직접 통합하여 단어와 지각 사이의 연결을 확립하는 체화된 언어 모델을 제안합니다. 체화된 언어 모델의 입력은 시각, 연속 상태 추정, 텍스트 입력 인코딩을 교차 배치한 멀티모달 문장입니다. 이 인코딩들을 사전 학습된 대규모 언어 모델과 함께 엔드투엔드로 학습시키며, 대상은 순차적 로봇 조작 계획, 시각 질의응답, 캡셔닝을 포함한 여러 체화 작업입니다. 평가 결과, 단일 대형 체화 멀티모달 모델인 PaLM-E는 다양한 관측 모달리티로부터, 여러 임바디먼트에서 다양한 체화 추론 작업을 처리할 수 있으며, 나아가 긍정적 전이를 보입니다. 즉, 인터넷 규모의 언어, 시각, 시각-언어 도메인에 걸친 다양한 공동 학습으로부터 이점을 얻습니다. 가장 큰 모델인 562B 파라미터의 PaLM-E-562B는 로봇 작업으로 학습되었을 뿐 아니라 OK-VQA에서 최고 수준의 성능을 내는 시각-언어 범용 모델이며, 규모가 커져도 범용 언어 능력을 유지합니다.
링크
- arXiv 2303.03378: https://arxiv.org/abs/2303.03378
- PDF: https://arxiv.org/pdf/2303.03378