MolmoAct2: Action Reasoning Models for Real-World Deployment

저자: Haoquan Fang, Jiafei Duan, Donovan Clay, Sam Wang, Shuo Liu, Weikai Huang, Xiang Fan, Wei-Chuan Tsai, Shirui Chen, Yi Ru Wang, Shanli Xing, Jaemin Cho, Jae Sung Park, Ainaz Eftekhar, Peter Sushko, Karen Farley, Angad Wadhwa, Cole Harrison, Winson Han, Ying-Chun Lee, Eli VanderBilt, Rose Hendrix, Suveen Ellawela, Lucas Ngoo, Joyce Chai, Zhongzheng Ren, Ali Farhadi, Dieter Fox, Ranjay Krishna · CoRL 2026 2026

중요한 이유

성능이 뛰어난 로봇 정책은 대부분 폐쇄적이고, 개방형 정책도 보통 가중치만 공개할 뿐 그 뒤의 데이터와 레시피는 공개하지 않거나 비싼 로봇을 전제로 합니다. MolmoAct2는 세 가지를 모두 공개합니다. 모델 가중치, 학습 코드, 전체 학습 데이터 구성이며, 여기에는 YAM 암에서 새로 수집한 약 720시간 분량의 양팔 원격 조작 데이터도 포함됩니다. 저자들은 이 구성 전체의 비용을 6,000 미국 달러 미만으로 추산합니다. 이 논문은 그 공개물이 어떻게 만들어졌고 얼마나 잘 작동하는지를 보여 주는 기준 자료이며, CoRL 2026은 이를 spotlight로 선정했습니다. 이 카탈로그의 독자에게 실질적인 부분은, 미세 조정된 체크포인트 중 두 개가 많은 연구실과 취미 제작자가 이미 가진 하드웨어, 즉 DROID 방식의 Franka 암과 SO-100 또는 SO-101 암에서 추가 학습 없이 작동한다는 점입니다. 논문은 다른 모델 개발자가 가져다 쓸 수 있는 아이디어도 보여 줍니다. 개방적으로 학습한 FAST 방식의 행동 토크나이저, 커뮤니티가 올린 1,222개의 LeRobot 데이터셋을 쓸 만한 학습 데이터로 바꾸는 필터링 파이프라인, 그리고 매 층에서 백본의 키와 값으로 조건화한 행동 전문가입니다. 마지막 방식은 저자들의 절제 실험에서 은닉 상태로 조건화하는 방식보다 좋은 결과를 냈습니다. 모델 자체는 체크포인트와 배치 가이드와 함께 우리 카탈로그의 별도 페이지에 있으며, 이 페이지는 논문의 방법과 결과를 다룹니다.

문제

비전-언어-행동 모델은 하나의 제어기로 여러 로봇을 움직이겠다고 약속하지만, 논문은 실제 배치를 가로막는 네 가지 장애물을 지적합니다. 가장 강력한 모델은 폐쇄적이고, 소수의 개방 가중치 모델도 데이터와 학습 레시피를 공개하지 않아 아무도 재현하거나 확장할 수 없습니다. 바로 쓸 수 있는 개방형 모델은 비싸거나 특수한 로봇에 묶여 있습니다. 행동하기 전에 추론하는 정책은, 예를 들어 깊이나 목표 이미지나 궤적을 예측하느라 한 단계마다 수백 개의 토큰을 쓰고, 그래서 폐루프 제어에는 너무 느려집니다. 게다가 미세 조정 후에도 현실적인 작업에서의 성공률은 믿고 쓸 수 있는 수준에 못 미칩니다. 공개된 로봇 데이터만으로는 이를 해결할 수 없습니다. Open X-Embodiment는 품질이 고르지 않고, DROID의 상당 부분은 정지 구간이나 반복이며, 커뮤니티가 올린 SO-100 데이터에는 lerobot_test 같은 임시 라벨이 붙어 있고, 저자들이 배치하려던 플랫폼에서 고품질 양팔 데이터를 제공하는 개방형 데이터셋은 없었습니다.

제안 방법

저자들은 먼저 자체 비전 언어 모델 Molmo2를 약 3.3M개의 체화 추론 예시(포인팅, 공간 및 영상 질문, 여러 시점 간 대응)로 이루어진 말뭉치로 미세 조정해 Molmo2-ER을 만듭니다. 28개가 넘는 작업에 걸친 34,500개 시연으로 된 양팔 YAM 데이터셋을 수집하고, 커뮤니티가 올린 SO-100/101 데이터와 DROID를 구조, 라이선스, 품질 기준으로 걸러 내며, 지시문은 개방형 비전 언어 모델로 다시 붙입니다. 그다음 학습은 세 단계로 진행됩니다. 사전 학습은 백본이 MolmoAct2-FAST Tokenizer의 이산 행동 토큰을 출력하도록 가르칩니다. 이 토크나이저는 FAST를 개방적으로 다시 구현한 것으로, 어휘는 2,048개 토큰이며 다섯 가지 구현체의 백만 개 행동 시퀀스로 학습했습니다. 사후 학습에서는 백본과 같은 36개 층을 가진 DiT 방식의 행동 전문가를 붙입니다. 전문가의 각 층은 대응하는 백본 층의 키와 값에 교차 어텐션을 적용하고 플로 매칭으로 학습되며, 백본은 토큰 손실을 그대로 유지합니다. 마지막으로 미세 조정이 모델을 한 로봇에 맞추어 양팔 YAM, DROID Franka, SO-100/101, LIBERO용 체크포인트를 만듭니다. MolmoAct2-Think는 행동하기 전에 10 × 10 깊이 토큰 격자를 추가하고, 이전 단계 이후 이미지 패치가 바뀐 칸만 다시 예측합니다. 캐싱과 CUDA Graphs가 추론 속도를 높입니다.

핵심 통찰

• 체화 추론용으로 학습한 백본은 행동 학습에 직접 도움이 된다: 같은 이산 행동 설정에서 Molmo2를 Molmo2-ER로 바꾸면 LIBERO-Long 성공률이 77.6%에서 83.6%로 오른다
• 행동 전문가는 각 층이 대응하는 백본 층의 키와 값을 읽을 때 더 잘 작동한다: LIBERO에서 95.9%, 은닉 상태로 조건화하면 94.0%
• 추론이 매 단계 전체를 다시 예측할 필요는 없다: MolmoAct2-Think는 바뀐 이미지 칸의 깊이 토큰만 다시 예측해 일부의 지연만으로 기하학적 접지를 유지한다
• 커뮤니티 데이터에서는 정제가 규모만큼 중요하다: 구조 검사, 라이선스 검사, 품질 관문이 커뮤니티가 올린 1,222개의 SO-100/101 데이터셋을 학습 데이터로 바꾸고, 개방형 비전 언어 모델로 지시문을 다시 붙이면 고유 지시문 수가 두 배가 된다
• 빠른 쪽은 연속 경로다: 같은 행동 청크를 이산 토큰으로 디코딩하면 14.17 Hz, 플로 매칭 전문가는 55.79 Hz이므로 배치 시에는 전문가가 기본값이다

주요 결과

• 실제 DROID Franka에서 추가 학습 없이, 카메라를 무작위로 배치하고 처음 보는 물체와 장면에서 MolmoAct2-DROID는 다섯 가지 집어 놓기 작업(작업당 15회 시도)에서 평균 87.1%를 기록했다. MolmoBot은 48.4%, π0.5-DROID는 45.2%
• 실제 SO-100 암에서 추가 학습 없이 MolmoAct2-SO100/101은 부분 점수를 포함한 다섯 가지 작업에서 56.7%를 기록했다. 저자들이 같은 데이터로 미세 조정한 π0는 45.3%, SmolVLA는 2.3%
• 미세 조정 없는 시뮬레이션에서 MolmoAct2-DROID는 MolmoSpaces 평균 37.7%(π0.5-DROID는 34.5%), MolmoBot 20.6%(비교 대상은 10.0%)
• 미세 조정 후 LIBERO에서 97.2%(MolmoAct2-Think는 98.1%)로 π0.5의 96.9%와 이전 MolmoAct의 86.6%를 넘고, 양팔 벤치마크 RoboEval에서는 44.3%로 π0.5의 40.5%를 넘는다
• 실제 양팔 YAM 작업 8개(작업당 50회 시도)에서 미세 조정해 평균 50.1%를 기록하고 8개 중 7개에서 가장 높은 성적을 냈으며, 차점자 OpenVLA-OFT보다 15포인트 높다
• Molmo2-ER은 13개 체화 추론 벤치마크에서 평균 63.8%로 Gemini Robotics-ER 1.5 Thinking(61.3%)과 GPT-5(57.9%)를 앞서며, 출발점인 Molmo2보다 17포인트 높다
• H100 한 장에서 캐싱과 CUDA Graphs가 제어 주파수를 MolmoAct2는 23.02 Hz에서 55.79 Hz로, MolmoAct2-Think는 8.04 Hz에서 12.71 Hz로 높인다

한계

• 코드의 라이선스는 분명하지만 가중치는 그렇지 않다: 저장소의 LICENSE 파일은 Apache-2.0이고 README는 모델이 Apache 2.0으로 라이선스되며 Ai2의 Responsible Use Guidelines에 따라 연구와 교육용으로 쓰도록 의도되었다고 적지만, MolmoAct2 체크포인트들의 Hugging Face 모델 카드에는 라이선스가 없다(라이선스가 있는 것은 Molmo2-ER 카드뿐). 로봇 데이터셋 카드는 Apache-2.0을 밝히지만, 다시 올린 Molmo2-ER 학습 데이터 일부는 원래 출처의 조건을 따르며, 그중 VST-P는 비상업용 CC BY-NC 4.0이다
• 정책은 고정된 행동 청크를 개루프로 실행한다: 청크 경계에서 움직임을 매끄럽게 하는 장치가 없고, 청크 도중에는 접촉이나 외란에 반응하지 못하며, 저자들도 55.79 Hz는 청크 단위로 분할 상환한 처리량이지 폐루프 반응성이 아니라고 밝힌다
• 추가 학습 없이 쓸 수 있는 것은 학습 대상인 세 플랫폼(양팔 YAM, SO-100/101, DROID Franka)뿐이다. 다른 로봇, 핸드, 이동형 매니퓰레이터, 휴머노이드는 자체 시연 데이터로 미세 조정해야 하며, README도 그대로 쓸 때의 성능은 SO-100과 Franka DROID에서, 학습 분포 안의 간단한 작업에 대해서만 확인했다고 밝힌다
• 결과는 저자들 자신의 것이다: 실제 환경 제로샷 시험은 작업당 15회 시도이고, SO-100 점수는 부분 점수를 포함하며, 두 시뮬레이션 벤치마크(MolmoSpaces와 MolmoBot)와 MolmoBot 기준 모델은 Ai2에서 나왔고, SO-100의 π0 기준 모델은 저자들이 직접 미세 조정했으며, 강건성 표는 해당 행을 MolmoAct2-Think로 표시하는데 본문은 그 결과를 MolmoAct2의 것으로 설명한다
• 학습은 연구실 GPU 한 장으로는 턱없이 부족하다: 사전 학습에만 약 5,760 H100 GPU 시간, 사후 학습에 약 2,304시간이 들었고, 체크포인트는 각각 약 22 GB이며, README는 bfloat16 추론에 모델 코드 패치가 필요하다고 적고 있다

분야에 미친 영향

MolmoAct2는 가중치, 코드, 전체 학습 데이터가 모두 공개된 몇 안 되는 비전-언어-행동 모델 가운데 하나이므로, 다른 그룹은 공개된 체크포인트를 미세 조정하는 데 그치지 않고 모든 단계를 다시 학습하고 검증하고 확장할 수 있습니다. 이 모델은 개방형 기준선을 저렴한 하드웨어로 옮겨 놓았습니다. 저자들은 처음 보는 장면에서 SO-100 암과 DROID Franka를 추가 학습 없이 돌린 결과와, 연구실 밖의 양팔 YAM 환경에서 미세 조정한 결과를 보고합니다. 두 가지 설계 결과는 이 모델을 넘어 퍼질 가능성이 큽니다. 행동 전문가를 백본의 층별 키와 값으로 조건화하는 것, 그리고 추론 토큰을 적응형으로 만들어 그 비용이 장면이 얼마나 바뀌는지에 따르게 하는 것입니다. 공개된 양팔 YAM 데이터(저자들에 따르면 현재까지 가장 큰 개방형 양팔 데이터셋)와 선별된 SO-100/101 및 DROID 하위 집합은 그 자체로 귀중한 자원입니다. 많은 비교가 저자들 자신의 벤치마크와 기준 모델을 사용하므로, 격차가 얼마나 유지될지는 독립적인 재현이 판가름할 것입니다.

초록

비전-언어-행동(VLA) 모델은 로봇을 위한 하나의 범용 제어기를 제공하는 것을 목표로 하지만, 오늘날의 시스템은 실제 환경에 배치하기에는 부족하다. 최첨단 모델은 폐쇄적이고, 개방 가중치 대안은 비싼 하드웨어에 묶여 있으며, 추론을 더한 정책은 접지를 위해 감당하기 어려운 지연을 치르고, 미세 조정 후의 성공률도 믿고 쓸 수 있는 기준에 못 미친다. 우리는 실용적인 배치를 위해 만든 완전 개방형 행동 추론 모델 MolmoAct2를 제시하며, 이는 이전 모델 MolmoAct를 다섯 가지 축에서 발전시킨다. (1) MolmoAct2는 공간 및 체화 추론에 특화된 비전 언어 모델(VLM) 백본인 새로운 Molmo2-ER 위에 구축되며, 이 백본은 3.3M개 샘플의 말뭉치로 ‘먼저 특화하고 다시 복습하는’ 레시피에 따라 학습되었다. (2) 저비용에서 중간 비용까지의 플랫폼을 아우르는 세 가지 새 로봇 데이터셋을 공개한다. MolmoAct2-BimanualYAM Dataset은 원격 조작으로 수집한 720시간의 양팔 궤적으로, 현재까지 가장 큰 개방형 양팔 데이터셋이다. MolmoAct2-DROID Dataset은 DROID에서 품질로 선별한 Franka 하위 집합이고, MolmoAct2-SO100/101 Dataset은 품질로 선별한 SO-100/101 하위 집합이다. (3) 다섯 가지 구현체에 걸친 수백만 개의 궤적으로 학습한, 가중치와 데이터가 모두 개방된 행동 토크나이저 MolmoAct2-FAST Tokenizer를 학습해 공개한다. (4) 층별 키-값(KV) 조건화를 통해 이산 토큰 VLM을 플로 매칭 기반 연속 행동 전문가에 접목하는 새로운 VLA 아키텍처를 설계한다. (5) 시간 단계 사이에 바뀐 장면 영역에 대해서만 깊이 토큰을 다시 예측해, 이전 지연의 일부만으로 기하학적 접지를 유지하는 적응형 깊이 추론 변형 MolmoAct2-Think를 제안한다. 7개의 시뮬레이션 및 실제 환경 벤치마크에 걸친, 지금까지 개방형 VLA에 대한 가장 폭넓은 실증 연구에서 MolmoAct2는 π0.5를 포함한 강력한 기준 모델을 능가하며, Molmo2-ER은 13개의 체화 추론 벤치마크에서 GPT-5와 Gemini Robotics ER-1.5를 앞선다. 우리는 모델 가중치, 학습 코드, 전체 학습 데이터를 공개한다.

링크

• arXiv 2605.02881: https://arxiv.org/abs/2605.02881
• PDF: https://arxiv.org/pdf/2605.02881
• 코드: https://github.com/allenai/molmoact2
• 프로젝트 페이지: https://allenai.org/blog/molmoact2