Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

MolmoBot

시뮬레이션만으로 학습해 DROID Franka에서 제로샷으로 작동하는 Ai2의 조작 정책

라이선스

  • code (MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC): Apache 2.0
  • MolmoBot checkpoints (incl. MolmoBot-DROID and the RB-Y1 policies): Apache 2.0
  • MolmoBot-Data: ODC Attribution 1.0

부분별로 다른 라이선스. 코드: Apache-2.0, LICENSE 기준이며 MolmoBot, MolmoBot-Pi0, MolmoBot-SPOC 각 패키지에 같은 문구가 있음. MolmoBot 체크포인트(MolmoBot-DROID와 RB-Y1 정책 포함): Apache-2.0, Hugging Face 카드 기준. Molmo2-4B를 미세 조정한 것으로, 이 기반 모델도 Apache-2.0이지만 그 카드에는 학술 및 비상업 연구로 제한된 제삼자 데이터셋으로 학습했다고 적혀 있음. MolmoBot-Pi0-DROID: PaliGemma를 기반으로 하므로 Gemma 라이선스. MolmoBot-SPOC 체크포인트: 라이선스가 other로만 표기되어 있고, 카드가 가리키는 라이선스 파일은 존재하지 않음. MolmoBot-Data: ODC-BY 1.0. 일부 장면은 비상업 라이선스의 Objaverse 물체를 사용하며, 상업적으로 쓸 수 있는 에피소드 목록이 함께 제공됨. Ai2는 모델과 데이터를 자사의 Responsible Use Guidelines에 따라 사용해 달라고 요청함. 2026-11-08에 LICENSE와 Hugging Face 카드로 확인함.

개요

MolmoBot은 Allen Institute for AI(Ai2)가 만든 로봇 조작 정책 모음으로, 시뮬레이션 데이터만으로 학습하고 실제 데이터나 미세 조정 없이 실제 로봇에서 작동합니다. 주력 체크포인트인 MolmoBot-DROID는 손목 카메라 한 대, 외부 카메라 한 대, 그리고 put the red mug in the black bowl 같은 텍스트 지시를 받아 DROID 구성의 Franka 팔을 움직입니다. 학습 데이터 MolmoBot-Data는 MuJoCo에서 절차적으로 생성한 94,000채가 넘는 집 안에서 만든 1.7백만 개의 전문가 궤적으로, 물체와 조명, 카메라 위치를 크게 무작위화했습니다. Ai2는 세 종류의 정책, Franka와 이동 매니퓰레이터 Rainbow Robotics RB-Y1용 체크포인트 아홉 개, 학습 및 평가 코드, 데이터셋, 데이터 생성 엔진을 공개했습니다. 논문은 CoRL 2026에서 발표됩니다.

MolmoBot은 Ai2가 워싱턴대, UCLA, 다름슈타트 공대, 프린스턴대와 함께 만든 조작 정책 모음으로, 한 가지 주장을 검증하려고 만들어졌습니다. 시뮬레이션에서만 학습한 정책이 실제 데이터도 미세 조정도 없이 실제 로봇에서 작동할 수 있다는 것, 즉 엄격한 의미의 Sim-to-Real 전이입니다. 주력 체크포인트인 MolmoBot-DROID는 DROID와 같은 방식으로 구성한 Franka 팔을 제어하며, Robotiq 2F-85 그리퍼, ZED Mini 손목 카메라, 그리고 테이블 주변 어디에나 둘 수 있는 ZED 2 카메라를 씁니다. "put the red mug in the black bowl" 같은 텍스트 지시를 받으면 팔과 그리퍼의 절대 관절 위치를 출력합니다.

데이터는 MolmoBot-Engine에서 나옵니다. 이는 절차적 생성기로, 지금은 MolmoSpaces 저장소의 일부입니다. iTHOR와 Objaverse의 물체를 미리 만들어 둔 MolmoSpaces 집에 배치해 MuJoCo로 렌더링하고, 스크립트로 만든 전문가가 파지 자세를 고르고 동작의 각 단계를 계획하며(모션 플래닝) 파지가 미끄러지면 처음부터 다시 하게 합니다. 조명, 텍스처, 마찰, 질량, 로봇의 시작 자세, 모든 카메라의 위치를 무작위화합니다(도메인 무작위화). 그 결과물인 MolmoBot-Data에는 1.7백만 개의 궤적과 5,704시간 분량의 로봇 경험이 담겨 있으며, 94,000개가 넘는 환경, 11,000개의 물체, 9,000개의 수납 대상, 8가지 작업 유형, 그리고 두 로봇을 아우릅니다. 테이블 위 집어 옮기기에는 Franka FR3를, 물건 집기와 서랍·수납장·문 열기에는 이동 매니퓰레이터 Rainbow Robotics RB-Y1을 씁니다. 생성에는 약 6,500 GPU 시간이 들었습니다.

이 데이터로 세 종류의 정책을 모방 학습으로 학습시킵니다. MolmoBot 자체는 Molmo2-4B 비전 언어 모델을 기반으로, 언어 모델의 모든 층을 읽는 디퓨전 트랜스포머 액션 헤드를 붙여 플로 매칭으로 16스텝 분량의 관절 위치를 한 번에 예측하며, 카메라마다 최근 프레임을 최대 3장까지 입력받을 수 있습니다. MolmoBot-Pi0은 openpi 코드를 통해 π0 아키텍처를 그대로 따르고 PaliGemma에서 학습을 시작하므로, Physical Intelligence의 모델과 직접 비교할 수 있습니다. MolmoBot-SPOC는 엣지 기기를 겨냥한 작은 트랜스포머 정책으로, 나중에 시뮬레이션에서 강화 학습을 하는 것도 염두에 두었습니다. Hugging Face에는 체크포인트 아홉 개가 있으며, DROID Franka용과 RB-Y1의 문 열기 및 멀티태스크 작업용이 있습니다.

DROID 로봇에서는 정책이 GPU PC에서 서버로 실행되고, 로봇과 그리퍼는 Polymetis 아래에서 동작합니다. 설치 가이드가 카메라, 설정, 클라이언트 스크립트를 다룹니다. 데모 노트북은 하드웨어 없이 시뮬레이션 장면을 만들고 체크포인트를 불러와 에피소드를 실행하며, 공개 데이터로 MolmoBot-DROID를 재현하는 학습 명령은 저장소에 있습니다.

논문에서는 각 정책을 실제 DROID 로봇에서 120번씩 실행했습니다. 4개의 방에서 방마다 집어 옮기기 작업 10개를 작업당 3번씩, 2개 기관의 로봇 3대로 시험했습니다. MolmoBot의 성공률은 79.2%로, 실제 시연으로 학습한 π0.5-DROID의 39.2%보다 높았고, π0 아키텍처에 시뮬레이션 데이터만 쓴 MolmoBot-Pi0은 46.7%를 기록했습니다. 이동 작업은 아직 성숙하지 않아, 당겨서 여는 실제 문 세 개를 대상으로 RB-Y1이 문을 연 것은 9번 중 2번이었습니다. 이 결과는 모두 저자들 자신의 것이며, 프로젝트 페이지에 실제 DROID 시험의 녹화 영상이 있습니다.

중요한 이유

openpi의 π0.5 같은 오픈 VLA 정책은 10,000시간이 넘는 실제 로봇 시연으로 학습하는데, 이 데이터는 공개되지 않았고 외부에서 다시 만들 수도 없습니다. MolmoBot은 이를 누구나 내려받거나 공개된 엔진으로 다시 만들 수 있는 시뮬레이션 데이터로 대체했고, 저자들의 시험에서는 실제 시연을 한 번도 보지 않고도 같은 DROID 하드웨어에서 π0.5를 앞섰습니다. DROID 방식의 Franka를 가진 연구실이라면 데이터를 모으지 않고 바로 시험해 볼 정책과, 새 작업이나 로봇을 추가하기 위한 장면 생성부터 학습까지의 완전한 레시피를 얻는 셈입니다. 이는 행동을 추론하는 Ai2의 VLA인 MolmoAct2와 짝을 이룹니다. MolmoAct2는 DROID 같은 실제 시연으로 로봇마다 미세 조정하도록 만든 파운데이션 체크포인트를 제공하고, MolmoBot은 시뮬레이션에서만 배우며 그대로 쓰도록 만들어졌습니다. 한계는 적용 범위입니다. 작업은 강체 집어 옮기기와 열기뿐이고, DROID Franka나 RB-Y1이 아닌 로봇은 자체 시뮬레이션 데이터와 학습이 필요합니다.

해결하는 문제

조작 정책을 학습하려면 보통 많은 양의 실제 로봇 시연이 필요한데, 수집이 느리고 비싸며 대부분 공개되지 않습니다. MolmoBot은 충분히 넓게 무작위화한 절차적 시뮬레이션 데이터로 실제 로봇에서 제로샷으로 작동하는 정책을 학습할 수 있음을 보여 주고, 다른 사람들이 결과를 재현하거나 확장할 수 있도록 데이터, 생성기, 학습 코드를 공개합니다.

핵심 요점

  • 시뮬레이션 데이터만으로 학습해 실제 데이터 미세 조정 없이 실제 로봇에서 작동하는 조작 정책
  • MolmoBot-DROID는 손목 카메라 한 대와 아무 곳에나 둔 외부 카메라 한 대로 DROID Franka에서 작동
  • MolmoBot-Data로 학습: 94,000채가 넘는 집에서 만든 1.7백만 개의 시뮬레이션 전문가 궤적
  • 세 종류의 정책: Molmo2 기반 VLA, π0 복제판, 엣지 기기용 작은 트랜스포머
  • 코드, 대부분의 체크포인트, 데이터 생성 엔진이 공개되어 있으며 데이터셋은 ODC-BY
  • 저자들의 시험에서 실제 집어 옮기기 성공률 79.2%, π0.5-DROID는 39.2%

대상

  • 데이터를 모으지 않고 집어 옮기기 정책을 쓰고 싶은, DROID 방식 Franka를 갖춘 연구실
  • Sim-to-Real 전이와 합성 학습 데이터를 연구하는 로봇 학습 연구자
  • 새 로봇이나 작업을 위한 시뮬레이션 데이터 파이프라인을 만드는 팀
  • 이동 조작을 연구하는 Rainbow Robotics RB-Y1 사용자

한계

  • 공개된 체크포인트는 DROID 방식 Franka(Robotiq 2F-85 그리퍼, ZED Mini 손목 카메라와 ZED 2 외부 카메라, Polymetis)나 Rainbow Robotics RB-Y1에서만 작동하며, 다른 로봇은 새 시뮬레이션 데이터와 학습이 필요함
  • 작업은 강체 집기, 집어 옮기기, 관절 물체 열기로 한정되며, 저자들은 삽입, 변형 물체, 유체를 아직 다루지 못한다고 밝힘
  • 이동 조작은 초기 단계로, RB-Y1이 당겨서 여는 실제 문을 연 것은 9번 중 2번
  • MolmoBot-Pi0-DROID는 Gemma 라이선스이고, MolmoBot-SPOC 체크포인트 세 개는 other라고만 적혀 있고 라이선스 파일도 없어 모든 체크포인트가 Apache-2.0은 아님
  • MolmoBot-Data는 약 10 TB이며 비상업 라이선스의 Objaverse 물체를 포함함. 상업적으로 쓸 수 있는 에피소드 목록이 함께 제공됨
  • 학습에는 멀티 GPU 클러스터가 필요함. README에 따르면 MolmoBot-DROID에는 H100 GPU 8~64개, MolmoBot-Pi0-DROID에는 32개가 쓰였고, MolmoBot-DROID 체크포인트는 약 20 GB
  • 모든 결과는 저자들 자신의 것으로, 그들의 로봇과 자체 시뮬레이션 벤치마크에서 얻음

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.