Geometric Action Model for Robot Policy Learning

저자: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong · arXiv 2026

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

사전 학습된 3D 기하 모델을 나누고 인과적 예측기를 삽입하여 하나의 백본이 미래 깊이와 행동을 예측한다. 파라미터 1.4B, 단계당 6.9 ms, LIBERO-Plus 카메라 이동 조건에서 83.1%.

중요한 이유

이 정책은 파라미터가 1.4B(학습 가능한 파라미터 약 983M)이고 단계당 한 번의 피드포워드 패스만 필요하여, GH200 GPU 한 대에서 약 145 Hz로 동작한다. 가장 큰 이득은 카메라 교란 조건에서 나오며, 이는 배치된 카메라 구성이 데이터 수집에 쓰인 구성과 다를 때 중요하다.

문제

Vision-Language-Action 모델과 영상 월드-액션 모델은 2D 이미지나 2D에서 파생된 잠재 사전 지식 위에 구축되며, 깊이, 스케일, 가림을 암묵적으로 남겨 행동 디코더가 알아내도록 한다. 이 때문에 카메라 시점이나 로봇의 초기 상태가 바뀌면 일반화가 제한된다. 기존의 기하 인식 VLA는 기하 파운데이션 모델을 정적인 특징 추출기로만 사용한다.

제안 방법

GAM은 사전 학습된 기하 파운데이션 모델(DA3-Giant)을 12번째 층에서 나눈다. 얕은 층은 다시점 RGB를 인코딩하고, 분할 지점에 삽입된 12층 블록 인과 트랜스포머는 고정된 T5 언어 토큰, 고유 감각, 이전 행동으로부터 다음 단계의 잠재 기하 토큰과 행동 토큰을 예측하며, 나머지 깊은 층이 둘 모두를 디코딩한다. 경량 헤드가 8단계 행동 청크를 회귀하고 원래의 DPT 헤드가 미래 깊이를 디코딩한다. 학습은 ℓ1 행동 손실, 미래 특징 손실, 미래 깊이 손실을 결합한다.

핵심 통찰

미래 예측은 기하 모델 자체의 잠재 공간 안에 둘 수 있다. 행동 토큰과 미래 장면 토큰은 하나의 자기회귀 시퀀스와 한 번의 백본 패스를 공유한다.
분할 깊이가 결정적이다. Ls = 12는 99.6% / 70.1%(LIBERO / LIBERO-Plus Object, 깊이 손실 없음)를 주고, Ls = 19는 경쟁력을 유지하며, Ls = 0이나 27 이상은 거의 0으로 붕괴한다.
사전 학습은 강건성에 가장 중요하다. 사전 학습과 미래 손실이 모두 없으면 LIBERO-Plus Object 성공률이 50.0%로 전체 모델의 89.7%에 못 미치며, 미래 특징 손실과 깊이 손실만으로 그 격차의 일부(73.4%)를 회복한다.
사후 학습 뒤에는 단일 단계 이력(H = 1)이 2단계나 4단계보다 강건했다(LIBERO-Plus Object에서 89.7% 대 84.4%와 85.1%).
행동 토큰을 깊은 GFM 블록에 통과시키는 것이 예측기 출력에서 직접 지도하는 것보다 낫다(LIBERO-Plus Object에서 89.7% 대 84.1%).

주요 결과

LIBERO 97.6%, LIBERO-Plus 85.5%(12.1점 하락)로 비교 대상 중 가장 높은 LIBERO-Plus 점수다. π0.5는 96.9% / 84.6%, Cosmos-Policy는 98.5% / 82.4%.
LIBERO-Plus 카메라 교란: 83.1%로 차순위 방법(Cosmos-Policy)의 73.4%보다 9.7점 높다.
GH200 한 대에서의 지연 시간: CUDA Graphs 사용 시 단계당 6.9 ms, Torch Compile만 사용 시 17.5 ms이며, π0.5는 29.2 ms, Cosmos-Policy는 382.4 ms. OpenVLA-OFT는 본문 표에 77.8 ms, 부록 표에 70.1 ms로 기재되어 있다.
RoboCasa-Kitchen(과제 24개, 시점 3개): 평균 69.4%로 Cosmos Policy의 67.1%보다 높다.
실제 로봇, 과제 4개, 과제마다 기본 시행 10회와 카메라 이동 시행 10회: 분포 내 평균 65%로 π0.5의 55%, Spatial Forcing의 35%보다 높다.
외부 카메라를 85 cm 옮기고 45° 회전한 조건에서 Figure 1은 GAM 52.5% 대 30%와 22.5%를 보고한다. Figure 4의 과제별 막대(80, 60, 20, 40)의 평균은 50%이다.

한계

저자들은 언어 추론과 상식 능력이 고정된 텍스트 인코더에 의해 제한된다고 밝히며, 대규모 언어 모델이나 외부 추론 모듈을 추가하는 것은 다음 단계로 남겨 둔다.
실제 환경 평가는 소규모다. 과제 4개, 과제당 시행 20회이며, 과제마다 169–284개의 시연으로 학습했다. Place pot and pan은 분포 내에서 30%, 카메라 이동 조건에서 20%에 그친다.
실제 환경에서는 정답 깊이를 구할 수 없으므로, 미래 깊이 목표는 백본 자체가 만든 의사 레이블이다.
LIBERO-Plus에서 GAM은 로봇 초기 상태(70.0% 대 76.6%), 언어(84.8% 대 86.5%), 배치(79.1% 대 86.0%) 교란 조건에서 π0.5에 뒤진다.
사전 학습에는 NVIDIA GH200 GPU 64개로 약 96시간이 들었다.

분야에 미친 영향

Hugging Face daily papers에서 추천 110개를 받아, 지난 6개월간 그곳의 로보틱스 논문 중 상위 5%에 들었다. 논문은 프로젝트 페이지(cvlab-kaist.github.io/Geometric-Action-Model)를 제시하지만, 본문에서 코드나 체크포인트 공개는 명시하지 않는다.

초록

범용 로봇 정책은 사용자 지시를 따르면서 3D 물리 세계에서 물체, 카메라, 로봇 행동이 어떻게 상호작용하는지 추론해야 한다. 최근의 Vision-Language-Action 모델(VLA)과 영상 월드-액션 모델(WAM)은 대규모 파운데이션 모델로부터 강한 의미적 또는 시간적 사전 지식을 물려받지만, 여전히 주로 2D 이미지 프레임이나 2D에서 파생된 잠재 공간에서 동작하며, 접촉이 많은 조작에 필요한 3D 기하는 암묵적으로 남겨 둔다. 우리는 사전 학습된 기하 파운데이션 모델(GFM)을 인식, 시간적 예측, 행동 디코딩을 위한 공유 기반으로 직접 용도를 바꾸는 언어 조건 조작 정책인 Geometric Action Model(GAM)을 제안한다. GAM은 GFM을 중간층에서 나눈다. 얕은 층은 관측 인코더로 쓰이고, 분할 층에 삽입된 인과적 미래 예측기가 언어, 고유 감각, 행동 이력을 조건으로 미래 잠재 토큰을 예측한다. 예측된 미래 토큰은 나머지 GFM 블록을 거치며 특징 전파와 디코딩을 거치므로, 하나의 백본이 미래 기하와 행동을 모두 생성할 수 있다. 이 설계는 최소한의 아키텍처 수정으로 GFM에 언어 조건 시간적 월드 모델링을 부여하면서 풍부한 기하학적 사전 지식을 보존한다. 폭넓은 시뮬레이션 및 실제 로봇 조작 벤치마크 전반에서 GAM은 현재의 파운데이션 모델 규모 기준선보다 더 정확하고, 더 강건하며, 더 빠르고, 더 가볍다.

링크

arXiv 2606.17046: https://arxiv.org/abs/2606.17046
PDF: https://arxiv.org/pdf/2606.17046v1
프로젝트 페이지: https://cvlab-kaist.github.io/Geometric-Action-Model