GeoVLA: Empowering 3D Representations in Vision-Language-Action Models

저자: Lin Sun, Bin Xie, Yingfei Liu, Hao Shi, Tiancai Wang, Jiale Cao · IROS 2026

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

GeoVLA는 깊이로부터 얻어 엔드 이펙터를 중심으로 인코딩한 점군을 VLM 특징과 함께 확산 행동 헤드에 입력하며, 높이, 크기, 시점 변화에서 더 잘 버틴다.

중요한 이유

실제 로봇 팔에 VLA를 적용하는 엔지니어에게, 이 논문은 VLM을 3D 데이터로 재학습하지 않고 RGB-D 카메라의 깊이를 활용하는 방법을 보여준다. 2D 기준선 대비 이득은 실제 시험에서 그 기준선들이 실패하는 바로 그 지점, 즉 목표 높이, 물체 크기, 카메라 시점이 바뀐 경우에 가장 크다.

문제

대부분의 Vision-Language-Action 모델은 2D RGB 이미지만으로 행동하므로, 정밀한 공간 추론에 필요한 깊이와 기하 단서를 놓친다. 3D를 추가하는 기존 방식은 VLM에 3D 위치 인코딩을 넣어 시각 인코더와의 정렬을 깨뜨리고 대규모 3D 지시 튜닝 데이터셋이 필요하거나, 행동 전문가를 고정한 뒤 나중에 점군 특징을 주입하여 새로운 모달리티에 대한 적응을 제한했다.

제안 방법

GeoVLA는 이미지와 언어를 위해 사전 학습된 VLM(OpenVLA 가중치로 초기화한 Prismatic-7B)을 유지하고, 이와 병렬로 깊이 맵을 엔드 이펙터 좌표계의 점군으로 변환해 Point Embedding Network로 인코딩한다. 이 네트워크는 큰 커널 합성곱, 회전 위치 인코딩, 그리고 앵커로서의 엔드 이펙터 토큰을 사용한다. Diffusion Transformer 행동 헤드인 3D-enhanced Action Expert는 정적 라우팅을 갖는 모달리티별 전문가를 통해 두 특징 집합을 융합하며, 매 반복마다 한 모달리티를 무작위로 제거하면서 종단 간으로 학습된다.

핵심 통찰

점군을 VLM 내부가 아닌 별도 분기에서 인코딩하면 VLM이 사전 학습한 비전-언어 정렬이 그대로 유지된다.
점군을 엔드 이펙터 좌표계로 표현하고 엔드 이펙터 토큰을 앵커로 사용하면 LIBERO에서 97.7%를 얻었으며, 최대 풀링은 96.3%, 평균 풀링은 95.9%였다.
동적 MoE 라우팅은 행동 헤드를 사전 학습된 VLM 분기 쪽으로 치우치게 했다. 무작위 모달리티 드롭아웃을 동반한 정적 라우팅은 97.7%로, 동적 라우팅의 97.3%, MoE 없음의 96.0%보다 높았다.
점 인코더의 회전 위치 인코딩(RoPE)은 LIBERO 평균을 95.4%(1D 학습 가능 임베딩)에서 97.7%로 올렸다.
3D 분기는 분포 밖 기하에서 가장 중요하다. 카메라를 45° 회전했을 때 GeoVLA는 70% 성공률을 유지했지만 CogACT는 0%로 떨어졌다.

주요 결과

LIBERO: 다섯 스위트 평균 97.7%로, OpenVLA-OFT 95.3%, CogACT 93.2%보다 높다. LIBERO-Long 96.6%, LIBERO-90 97.7%이며, 주 카메라 시점 하나와 그 점군만 사용했다.
ManiSkill2(집어 놓기 과제 5개, 각 20 에피소드): 평균 77%로 CogACT 69%, Dita 66%와 비교된다. PickClutterYCB에서는 45%로 Dita의 36%와 비교된다.
실제 세계, WidowX-250s 팔에서 과제 8개, 각 10회 시도: 평균 86.3%로 CogACT 76.3%, π0 57.5%, OpenVLA 20.0%와 비교된다(기본 과제 95.0%, 3D 인식 과제 77.5%).
바구니를 학습 때보다 한 층 높였을 때: 60%로 π0와 CogACT 모두의 20%와 비교된다. 처음 보는 가장 큰 인형 크기: 80%로 CogACT 50%, π0 0%와 비교된다.
카메라 시점을 15°, 30°, 45° 이동: 90%, 80%, 70%로, CogACT의 60%, 40%, 0%와 비교된다.
LIBERO에서의 점 인코더 절제: Point Embedding Network 97.7%, 3층 MLP(DP3 방식) 95.8%, PointNet 95.2%.

한계

논문 자체에는 한계 절이 없다. 아래 항목은 보고된 결과와 설정에서 나온 것이다.
Pick Carrot에서 스펀지 매트를 제거했을 때(당근이 더 낮게 놓임) GeoVLA는 50%, π0는 60%에 도달했지만, 본문은 GeoVLA가 다른 방법보다 더 안정적인 파지를 달성한다고 말한다.
실제 세계 시험은 팔 하나(WidowX-250s), 3인칭 RealSense 카메라 하나, 설정당 10회 시도를 사용한다.
조명 변화는 여전히 성능을 떨어뜨린다. 조명 변화 시 Stack Block은 80%에서 50%로, 세 과제 평균은 93.3%에서 73.3%로 떨어졌다(부록 Table 9).
ManiSkill2에서 모델은 고유 감각 상태, 그리퍼 상태, 목표 마커 위치도 입력받으며, PickCube(90%)에서는 CogACT(95%)보다 낮다.

분야에 미친 영향

KROS가 후원하는 IROS 2026 Best Paper Award on Cognitive Robotics 최종 후보, 인용 84회. 공식 프로젝트 페이지는 github.com/linsun449/geovla.code의 코드 저장소로 연결된다.

초록

Vision-Language-Action(VLA) 모델은 로봇이 언어 지시를 따르고 그에 해당하는 행동을 예측할 수 있게 하는 유망한 접근법으로 떠올랐다. 그러나 현재의 VLA 모델은 주로 2D 시각 입력에 의존하여 3D 물리 세계의 풍부한 기하 정보를 간과하며, 이는 공간 인식과 적응성을 제한한다. 본 논문에서 우리는 3D 정보를 효과적으로 통합해 로봇 조작을 발전시키는 새로운 VLA 프레임워크인 GeoVLA를 제시한다. GeoVLA는 비전-언어 모델(VLM)을 사용해 이미지와 언어 지시를 처리하고, 융합된 비전-언어 임베딩을 추출한다. 이와 병렬로, 깊이 맵을 점군으로 변환하고 Point Embedding Network라고 하는 맞춤형 점 인코더를 사용해 3D 기하 임베딩을 독립적으로 생성한다. 이렇게 생성된 임베딩은 연결된 뒤, 우리가 제안하는 공간 인식 행동 전문가인 3D-enhanced Action Expert가 처리하며, 이는 서로 다른 센서 모달리티의 정보를 결합해 정밀한 행동 시퀀스를 생성한다. 시뮬레이션과 실제 환경 모두에서의 광범위한 실험을 통해 GeoVLA는 우수한 성능과 강건성을 보인다. LIBERO와 ManiSkill2 시뮬레이션 벤치마크에서 최고 수준의 결과를 달성하고, 높이 적응성, 크기 인식, 시점 불변성이 필요한 실제 과제에서 뛰어난 강건성을 보인다. 프로젝트는 https://linsun449.github.io/GeoVLA에서 볼 수 있다.

링크

arXiv 2508.09071: https://arxiv.org/abs/2508.09071
DOI 10.48550/arXiv.2508.09071: https://doi.org/10.48550/arXiv.2508.09071
PDF: https://arxiv.org/pdf/2508.09071v1
코드: https://github.com/linsun449/geovla.code
프로젝트 페이지: https://linsun449.github.io/GeoVLA