Foundation models in robotics: Applications, challenges, and the future

저자: Roya Firoozi, Johnathan Tucker, Stephen Tian, Anirudha Majumdar, Jiankai Sun, Weiyu Liu, Yuke Zhu, Shuran Song, Ashish Kapoor, Karol Hausman, Brian Ichter, Danny Driess, Jiajun Wu, Cewu Lu, Mac Schwager · The International Journal of Robotics Research (IJRR) 2024

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 합니다.

요약

로보틱스의 파운데이션 모델에 관한 서베이로, 의사결정과 제어, 인식, 체화된 AI로 분류하고, 데이터 부족부터 안전 및 실시간 사용까지 여덟 가지 미해결 과제로 마무리한다.

중요한 이유

로봇에 LLM, VLM 또는 로봇 트랜스포머를 쓸지 결정하는 엔지니어는 서베이의 분류와 표 II를 활용할 수 있다. 표 II는 파라미터 수와 추론 빈도를 정리하는데, 예를 들어 RT-2는 1-3 Hz, Gato는 20 Hz이다. 과제 섹션은 클라우드 전용 모델과 네트워크 지연, 환각, 보정된 불확실성, 안전 시험 등 실제 배치상의 우려를 짚는다. 저자들은 또한 많은 의사결정 결과가 맞춤형 하드웨어 스택이나 물리 기반이 아닌 시뮬레이터에 의존하므로 비교하기 어렵다고 밝힌다.

문제

로보틱스의 딥러닝 모델은 보통 하나의 과제를 위해 수집한 소규모 데이터셋으로 학습되어 왔으며, 이로 인해 새로운 과제와 환경에 적응하는 능력이 제한된다. 인터넷 규모 데이터로 사전 학습된 파운데이션 모델은 언어와 비전에서 잘 일반화되었고, 로보틱스 연구자들은 이를 로봇에 그대로 연결하거나, 로봇용으로 적응시키거나, 로봇을 위해 구축하기 시작했다. 이 분야의 연구는 인식, 계획, 제어에 흩어져 있으며, 무엇이 시도되었고 무엇이 미해결로 남아 있는지 보여 주는 단일한 지도가 없다.

제안 방법

이 논문은 서베이이며 자체 방법을 제안하지 않는다. 범위를 배경 논문, 로보틱스 논문(파운데이션 모델을 플러그 앤 플레이로 사용하거나, 미세 조정하거나, 로봇용으로 새로 구축한 경우), 로보틱스 인접 논문으로 한정하며, 파운데이션 모델 배경, 로봇 의사결정과 제어(언어 조건부 모방 학습, 언어 보조 RL, 가치 학습, LLM 과제 계획과 코드 생성, 인컨텍스트 학습, 로봇 트랜스포머, 개방 어휘 내비게이션과 조작), 인식(개방 어휘 검출, 분할, 3D 장면 표현, 어포던스, 예측 모델), 그리고 시뮬레이터를 포함한 체화된 AI를 다룬다. 과제와 향후 방향으로 마무리하며, 로봇 전용 사전 학습 모델의 크기, 추론 속도, 학습 하드웨어를 표로 정리한다.

핵심 통찰

서베이는 로보틱스 연구를 파운데이션 모델을 사용하는 세 가지 방식으로 분류한다. 기존 모델을 그대로 가져다 쓰는 플러그 앤 플레이 방식, 이를 적응시키거나 미세 조정하는 방식, 그리고 로봇 전용 파운데이션 모델을 새로 구축하는 방식이다.
현재의 로봇 트랜스포머가 학습한 로봇의 물리적 기술은 로봇 데이터에 존재하는 기술 분포로 제한된다. 저자들은 이를 넘어서는 한 가지 경로로 인간 영상에서 얻은 동작 데이터를 제안한다.
많은 파운데이션 모델은 클라우드 API를 통해서만 접근할 수 있으므로, 지연 시간이 로봇이 통제하지 못하는 네트워크에 좌우된다. 저자들은 로컬 대체 자율성과 더 작은 온보드 모델로의 증류를 제안한다.
안전이 중요한 로봇에 대해 저자들은 불확실성 추정치가 빈도주의적 의미에서 보정되어야 한다고 주장하며, KnowNo의 컨포멀 예측 활용을 사례 연구로 제시한다.
Gibson, Habitat, RoboTHOR, VirtualHome 같은 물리 기반이 아닌 시뮬레이터는 저수준 물리를 희생하는 대신 시각적 충실도를 얻으며, 저자들은 이를 큰 sim-to-real 격차와 낮은 재현성과 연결한다.

주요 결과

서베이이므로 자체 실험은 보고하지 않는다. 참고문헌 목록은 배경, 로보틱스, 로보틱스 인접 논문에 걸쳐 233개 항목에 이른다.
표 II는 로봇 전용 사전 학습 모델을 크기 및 추론 빈도와 함께 정리한다. 예를 들어 RT-1은 35M 파라미터에 3 Hz, RT-2와 RT-2-X는 55B 파라미터에 다중 TPU 클라우드 서비스에서 1-3 Hz, Gato는 1.2B에 20 Hz, ViNT는 31M에 4 Hz이다.
같은 표는 PACT(12M 파라미터)가 Nvidia Xavier NX 엣지 컴퓨터에서 10 Hz, Nvidia V100 GPU 8개에서 50 Hz로 동작하며, PaLM-E-562B는 1 Hz 언어 하위 목표와 5 Hz 저수준 제어를 사용한다고 정리한다.
서베이에 따르면 RT-1은 13대의 로봇으로 17개월에 걸쳐 수집한, 700개 이상의 과제를 포괄하는 130k개 이상의 실제 로봇 에피소드로 학습되었다.
서베이에 따르면 RT-X 데이터셋은 22종의 로봇과 21개 기관의 데이터를 결합하며, 527개 기술(160,266개 과제)을 포괄한다.
여덟 가지 과제 영역을 제시한다. 데이터 부족, 실시간 성능, 멀티모달 표현의 한계, 불확실성 정량화, 안전성 평가, 플러그 앤 플레이 대 새 모델 구축, 로봇 환경의 높은 가변성, 벤치마킹과 재현성이다.

한계

저자들은 이 버전을 갱신할 예정인 예비 공개본이라고 부르므로, 2023년 12월 시점의 분야를 담고 있다.
범위는 세 범주의 논문(배경, 로보틱스, 로보틱스 인접)으로 한정되며, 저자들은 더 넓은 파운데이션 모델 서베이들보다 범위가 훨씬 좁다고 언급한다.
저자들은 의사결정 섹션의 논문들이 맞춤형 하드웨어 스택이나 물리 기반이 아닌 시뮬레이터에 의존하므로 인식이나 체화된 AI 섹션의 논문들보다 평가하고 비교하기 어렵다고 밝힌다.
표 II에는 원 논문이 데이터를 보고하지 않은 빈 칸이 있어, 모든 모델에 대해 추론 속도와 하드웨어 정보가 있는 것은 아니다.

분야에 미친 영향

이 서베이의 인용 수는 471회이다. 저자들은 이와 함께 GitHub 프로젝트 Awesome-Robotics-Foundation-Models를 공개했으며, 이를 계속 갱신할 예정인 예비 공개본이라고 설명한다.

초록

우리는 로보틱스에서 사전 학습된 파운데이션 모델의 응용을 조사한다. 로보틱스의 전통적인 딥러닝 모델은 특정 과제에 맞춘 소규모 데이터셋으로 학습되어 다양한 응용에 걸친 적응성이 제한된다. 반면 인터넷 규모의 데이터로 사전 학습된 파운데이션 모델은 뛰어난 일반화 능력을 보이는 것으로 보이며, 일부 경우에는 학습 데이터에 없는 문제에 대해 제로샷 해법을 찾는 창발적 능력을 보인다. 파운데이션 모델은 인식에서 의사결정과 제어에 이르기까지 로봇 자율성 스택의 다양한 구성 요소를 향상시킬 잠재력을 지니고 있을 수 있다. 예를 들어 대규모 언어 모델은 코드를 생성하거나 상식 추론을 제공할 수 있으며, 시각-언어 모델은 개방 어휘 시각 인식을 가능하게 한다. 그러나 특히 로봇 관련 학습 데이터의 부족, 안전 보장과 불확실성 정량화, 실시간 실행을 둘러싸고 중요한 미해결 연구 과제가 남아 있다. 이 서베이에서 우리는 로보틱스 문제를 해결하기 위해 파운데이션 모델을 사용하거나 구축한 최근 논문들을 연구한다. 파운데이션 모델이 인식, 의사결정, 제어 영역에서 로봇의 능력 향상에 어떻게 기여하는지 살펴본다. 로봇 자율성에서 파운데이션 모델의 도입을 가로막는 과제를 논의하고, 향후 발전을 위한 기회와 잠재적 경로를 제시한다. 이 논문에 대응하는 GitHub 프로젝트(예비 공개본이다. 우리는 품질과 적절성을 보장하기 위해 이 작업을 계속 개선하고 갱신할 것을 약속한다)는 다음에서 찾을 수 있다: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models

링크

arXiv 2312.07843: https://arxiv.org/abs/2312.07843
DOI 10.1177/02783649241281508: https://doi.org/10.1177/02783649241281508
PDF: https://arxiv.org/pdf/2312.07843v1
프로젝트 페이지: https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models