MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation
저자: Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna · CoRL 2026
라이선스
arXiv의 라이선스에 따라 아래 내용은 모두 초록만으로 작성했습니다.
중요한 이유
Sim-to-Real 전이에는 어느 정도의 실제 데이터나 과제별 미세 조정이 필요하다고 널리 여겨진다. 저자들은 시뮬레이션만으로 처음 보는 물체와 환경에 제로샷 전이가 가능하다고 보고하며, MolmoBot은 네 가지 설정에 걸친 실제 테이블 위 픽앤플레이스에서 79.2%의 성공률을 기록했고 π0.5는 39.2%였다.
제안 방법
MolmoBot-Engine은 MolmoSpaces 안에서 로봇, 과제, 시뮬레이션 환경 전반에 걸쳐 데이터를 절차적으로 생성하는 오픈소스 파이프라인이다. 저자들은 MolmoBot-Data(전문가 궤적 170만 개)를 공개하고 세 가지 정책 클래스를 학습시켰으며, 테이블 위 작업용 Franka FR3와 Rainbow Robotics RB-Y1 모바일 매니퓰레이터에서 평가했다.
초록
로봇 학습에서는 시뮬레이션만으로는 충분하지 않다는 견해가 지배적이다. 효과적인 Sim-to-Real 전이를 위해서는 시뮬레이션 환경과 물리 환경 사이의 격차를 메우기 위해 적어도 어느 정도의 실제 데이터 수집이나 작업별 미세 조정이 필요하다고 널리 여겨진다. 우리는 이 가정에 도전한다. 충분히 대규모이고 다양한 시뮬레이션 합성 학습 데이터가 있으면, 실제 세계로의 제로샷 전이가 가능할 뿐 아니라 정적 조작과 모바일 조작 모두에서 효과적임을 보인다. 우리는 로봇, 작업, 다양한 시뮬레이션 환경에 걸친 절차적 데이터 생성을 위한 완전한 오픈 소스 파이프라인 MolmoBot-Engine을 MolmoSpaces에서 소개한다. 이를 통해 관절형 물체 조작과 픽 앤 플레이스 작업을 위한 전문가 궤적 1.7백만 개로 이루어진 데이터셋 MolmoBot-Data를 공개한다. 우리는 세 가지 정책 클래스를 학습시킨다. Molmo2 기반의 멀티 프레임 비전 언어 모델에 플로 매칭 행동 헤드를 단 MolmoBot, 직접 비교를 위해 π0 아키텍처를 그대로 재현한 MolmoBot-Pi0, 그리고 엣지 배포에 적합하고 강화 학습 미세 조정에 알맞은 경량 정책 MolmoBot-SPOC이다. 평가는 두 로봇 플랫폼에서 진행한다. 탁상 조작 작업에는 Franka FR3를, 문 열기, 서랍 조작, 캐비닛 상호작용, 모바일 픽 앤 플레이스에는 모바일 매니퓰레이터 Rainbow Robotics RB-Y1을 사용한다. 실제 세계에서의 미세 조정 없이도 우리의 정책은 처음 보는 물체와 환경으로 제로샷 전이를 달성한다. 탁상 픽 앤 플레이스에서 MolmoBot은 4개 환경에 걸친 실제 평가에서 79.2%의 성공률을 기록해 39.2%의 π0.5를 앞선다. 우리의 결과는 절차적 환경 생성과 다양한 관절형 에셋을 결합하면 실제 세계로 폭넓게 일반화하는 견고한 조작 정책을 만들 수 있음을 보여 준다.
링크
- arXiv 2603.16861: https://arxiv.org/abs/2603.16861
- PDF: https://arxiv.org/pdf/2603.16861
- 코드: https://github.com/allenai/MolmoBot
- 프로젝트 페이지: https://allenai.github.io/MolmoBot/
- 데이터셋: https://huggingface.co/datasets/allenai/molmobot-data