NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

저자: Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine · ICRA 2024

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

선택적으로 마스킹할 수 있는 목표 이미지를 받는 단일 확산 정책이 탐색과 목표 도달을 모두 처리하며, LoCoBot에서 약 15× 작은 모델로 이미지 하위 목표 확산 방식을 앞섰다.

중요한 이유

하나의 소형 정책이 목표 조건부 정책과 별도의 이미지 생성 모델을 대체하여 모델 크기를 335M에서 19M 파라미터로 줄이며, 저자들은 이것이 연산 능력이 낮은 온보드 컴퓨터에 적합하다고 언급한다. 확산 헤드는 교차로에서 충돌 없는 여러 선택지를 열어 두면서도, 목표 이미지가 주어지면 올바른 경로로 좁혀 갔다. 공개된 다중 로봇 내비게이션 데이터셋(GNM 및 SACSoN)으로 학습했으며, 시뮬레이션에서만이 아니라 실제 로봇에서 시험했다.

문제

이미지로 제시된 목표를 낯선 환경에서 찾는 로봇에게는 두 가지 행동이 필요하다. 목표를 찾기 위한 과제 비의존적 탐색과, 목표를 찾은 후의 목표 지향 내비게이션이다. 기존 시스템은 이를 별개의 모델로 나누었는데, 예를 들어 목표 조건부 정책에 하위 목표 이미지를 제안하는 300M 파라미터 이미지 확산 모델을 더하는 식이다. 탐색에는 교차로에서 왼쪽 또는 오른쪽처럼 다봉적인 행동 분포를 표현하는 일도 필요한데, 더 단순한 정책 계열은 이를 평균화해 버린다.

제안 방법

NoMaD는 ViNT 트랜스포머 백본(EfficientNet-B0 인코더, 4개 레이어, 4개 헤드)을 확장하여 목표 토큰에 대한 어텐션을 차단하는 이진 목표 마스크를 추가하며, 학습 중 이 마스크를 확률 0.5로 샘플링하여 하나의 정책이 두 모드를 모두 학습하게 한다. 관측 컨텍스트는 1D 조건부 U-Net 확산 모델을 조건화하며, 이 모델은 10단계에 걸쳐 8개의 미래 행동 시퀀스를 디노이징한다. 정책은 ViKiNG 구성을 따라 위상 그래프 메모리 및 프런티어 기반 탐색과 결합된다.

핵심 통찰

학습 중 목표 토큰을 마스킹하면 단일 네트워크가 목표 조건부 행동과 방향이 정해지지 않은 행동을 모두 학습하며, 어느 모드에서도 성능이 떨어지지 않는다.
하위 목표 이미지를 생성하는 대신 확산으로 행동을 직접 모델링하자 훨씬 작은 모델로 다봉적인 탐색 선택을 포착할 수 있었다.
이산화된 행동에 대한 자기회귀 예측은 원리적으로 여러 모드를 표현할 수 있지만, 실제 예측은 대체로 단봉적이었고 배치된 정책은 움직임이 거칠고 움직이는 장애물에 대한 반응이 느렸다.
시각 인코더의 선택이 중요했다. 어텐션 기반 목표 마스킹을 갖춘 ViNT 인코더는 확산과 함께 잘 학습되었지만 ViT 인코더는 그렇지 않았다.

주요 결과

처음 보는 환경에서의 탐색: NoMaD는 성공률 98%, 실험당 충돌 0.2회로, Subgoal Diffusion 77% / 1.7 (335M 파라미터), Autoregressive 90% / 2.0, Random Subgoals 70% / 2.7, Masked ViNT 50% / 1.0, VIB 30% / 4.0에 앞섰다.
위상 그래프를 사용한 알려진 환경에서의 내비게이션: NoMaD 성공률 90%로, Subgoal Diffusion 및 Random Subgoals와 같았다.
통합 정책 대 전용 정책: NoMaD(19M)는 방향 미지정 98%, 목표 조건부 92%의 성공률에 도달하여 Diffusion Policy(15M, 방향 미지정 98%) 및 ViNT 정책(16M, 목표 조건부 92%)과 동등했다.
인코더 절제 실험: 성공률 / 충돌은 후기 융합 CNN 52% / 3.2, 초기 융합 CNN 68% / 1.5, ViT 32% / 2.5, NoMaD 98% / 0.2였다.
NoMaD는 19M 파라미터를 사용하는 반면 Subgoal Diffusion은 335M을 사용하며, 논문은 이를 15× 적은 것으로 서술한다.
논문은 시험 환경 수를 두 가지로 제시한다. 평가 구성(V절)에서는 6개, 표 I 논의에서는 5개이다.

한계

목표는 이미지로만 지정되는데, 저자들은 이것이 사용자에게 항상 가장 자연스러운 방식은 아니라고 언급한다. 언어와 공간 좌표는 향후 과제로 남겨진다.
상위 수준 계획은 표준적인 프런티어 기반 탐색 전략을 사용하며, 탐색할 영역을 의미 정보나 사전 지식에 기반해 선택하지는 않는다.
탐색에서 NoMaD는 가장 어려운 시험 환경을 제외한 모든 환경에서 성공했다.
실제 환경 평가는 하나의 로봇 플랫폼인 LoCoBot을 사용했다.

분야에 미친 영향

NoMaD는 ICRA 2024 Best Conference Paper Award를 수상했으며 ICRA 2024 Best Paper Award in Cognitive Robotics와 Best Student Paper Award의 최종 후보였다. 저자들은 프로젝트 페이지를 통해 코드와 사전 학습된 모델 체크포인트를 공개했다.

초록

낯선 환경에서의 내비게이션을 위한 로봇 학습은 과제 지향 내비게이션(즉, 로봇이 위치를 찾아낸 목표에 도달하기)과 과제 비의존적 탐색(즉, 새로운 환경에서 목표를 찾기) 모두를 위한 정책을 제공해야 한다. 일반적으로 이러한 역할은 하위 목표 제안, 계획, 또는 별도의 내비게이션 전략을 사용하는 등 별개의 모델이 담당한다. 본 논문에서는 목표 지향 내비게이션과 목표 비의존적 탐색을 모두 다루도록 하나의 통합된 확산 정책을 학습시키는 방법을 설명한다. 후자는 새로운 환경을 탐색하는 능력을, 전자는 목표가 발견된 후 사용자가 지정한 목표에 도달하는 능력을 제공한다. 우리는 이 통합 정책이 새로운 환경에서 시각적으로 지정된 목표로 내비게이션할 때, 생성 모델의 하위 목표 제안을 사용하는 접근법이나 잠재 변수 모델에 기반한 기존 방법에 비해 전반적으로 더 나은 성능을 낸다는 것을 보인다. 우리는 여러 지상 로봇의 데이터로 학습한 대규모 트랜스포머 기반 정책과, 목표 조건부 내비게이션과 목표 비의존적 내비게이션을 유연하게 처리하는 확산 모델 디코더를 사용하여 방법을 구현한다. 실제 이동 로봇 플랫폼에서 수행한 실험은 다섯 가지 대안 방법과 비교하여 처음 보는 환경에서 효과적인 내비게이션을 보여 주며, 최신 접근법보다 작은 모델을 사용함에도 성능이 크게 향상되고 충돌률이 낮아짐을 입증한다. 더 많은 영상, 코드 및 사전 학습된 모델 체크포인트는 https://general-navigation-models.github.io/nomad/ 를 참조하라.

링크

arXiv 2310.07896: https://arxiv.org/abs/2310.07896
PDF: https://arxiv.org/pdf/2310.07896v1
코드: https://github.com/PrieureDeSion/visualnav-transformer
프로젝트 페이지: https://general-navigation-models.github.io/nomad/