ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

저자: Dhruv Shah, Sergey Levine · RSS 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

ViKiNG은 이미지 기반 국소 제어기와 위성 이미지나 도로 지도로 안내되는 A* 유사 탐색을 결합하며, 80 m 미만의 주행으로 학습한 뒤 1킬로미터 넘게 떨어진 목표에 도달한다.

중요한 이유

저렴하고 불완전한 지도 데이터가 기하 지도를 만들지 않고도 장거리 로봇 내비게이션을 안내할 수 있으며, 지도가 오래되었을 때도 제어가 강인하게 유지됨을 보여 준다. 인도와 산책로를 따라가고 막다른 곳에서 빠져나오는 행동은 손으로 작성한 규칙이 아니라 학습 데이터와 탐색에서 나온다.

문제

처음 보는 실외 환경에서 먼 목표로 보내진 로봇에게는 국소적 주행 가능성 추론과 더 넓은 지리에 대한 지식이 모두 필요하다. 기하 지도 작성 방법은 사전 데이터의 이점을 얻지 못하고, 학습된 내비게이션 정책은 짧은 거리에만 도달했으며, 사용 가능한 지도와 GPS(정확도 2–5 m, 로봇 크기의 4–10×)는 오래되었거나 틀릴 수 있어 제어에 신뢰할 수 없다.

제안 방법

42시간의 오프라인 주행 데이터로 학습한 잠재 목표 모델은 현재 이미지와 하위 목표 이미지를 받아 시간적 거리, 다음 행동, GPS 오프셋을 예측한다. 변분 정보 병목 덕분에 도달 가능한 후보 하위 목표도 샘플링할 수 있다. 두 번째 모델은 GPS로 이어 붙인 학습 궤적에 대해 대조 목적 함수로 학습되며, 위에서 본 위성 이미지나 도로 지도가 주어졌을 때 하위 목표가 목표로 가는 경로 위에 있는지를 평가한다. 주행하면서 구축한 위상 그래프 위의 A 유사 물리적 탐색인 ViKiNG-A는 그 점수를 휴리스틱으로만 사용하며, 모든 주행 행동은 카메라 이미지에서 나온다.

핵심 통찰

지리적 힌트를 탐색 휴리스틱으로만 사용하고 제어는 카메라 이미지에서 얻자, 지도가 오래되었거나(이전 경로를 가로막고 주차된 트럭) 틀렸을 때(약 5 km 어긋난 위성 이미지)에도 로봇이 계속 작동했다.
겹치는 학습 궤적들을 GPS 위치로 이어 붙여 더 긴 매크로 궤적을 만들면, 휴리스틱이 어떤 단일 학습 주행 길이보다 훨씬 먼 목표를 평가하도록 학습할 수 있다.
힌트의 종류가 행동을 바꾼다. 도로 지도로 학습한 모델은 표시된 도로를 따라갔고, 위성 이미지로 학습한 모델은 더 짧은 경로를 위해 풀밭을 가로질렀다.
인도나 숲길을 따라가는 등의 내비게이션 행동은 학습 데이터 중 원격 조작 부분에서 물려받은 것이다. 길 위에 머무는 것을 보상하는 별도의 메커니즘은 없다.
물리적 탐색은 그래프 탐색과 다르다. 로봇은 임의의 노드로 건너뛸 수 없고 주행하기 전에는 간선 비용을 모르므로, ViKiNG-A*는 각 후보의 비용에 주행 비용과 방문 횟수 기반 새로움 항을 더한다.

주요 결과

처음 보는 10개 환경에서의 목표 찾기(Table I): ViKiNG 쉬움(<50 m) 3/3, 중간(50–150 m) 4/4, 어려움(150–500 m) 3/3. RECON-H 3/3, 3/4, 1/3. GCG 3/3, 2/4, 0/3. 행동 복제와 오프라인 PPO 2/3, 1/4, 0/3.
더 어려운 주행에서 개입 전까지(Table II) 평균 이동 거리는 ViKiNG이 1.36 m/s로 250.0+ m, RECON-H가 0.41 m/s로 188.3 m, GCG가 1.40 m/s로 78.3 m, 오프라인 PPO가 47.2 m, 행동 복제가 19.5 m였다.
처음 보는 캠퍼스 및 도시 환경에서의 킬로미터 규모 단일 주행 1.05 km, 1.20 km, 1.55 km, 체크포인트 6개와 고도 상승 70 m의 2.73 km 하이킹 코스(본문에는 2.7 km로 표기), 개입 없는 2.65 km 교외 점검 루프.
초록은 최대 3 km 떨어진 목표를, 서론은 2 km 넘게 떨어진 목표에 25분 안에 도달한다고 적고 있다. 실험에서 보고된 가장 긴 주행은 2.73 km와 2.65 km이다.
위에서 본 이미지 없이(GPS 거리 휴리스틱만) 로봇은 17:20와 0.73 km가 걸렸고, 위성 이미지를 쓰면 06:40와 0.31 km였다. GPS도 이미지도 없으면 30분 넘게 목표에 도달하지 못했다.
배치 시 평균 속도는 1.36 m/s로, 학습 데이터의 1.68 m/s보다 낮았으며, 학습 데이터의 궤적은 평균 45 m이다.

한계

논문에는 한계 절이 없다. 논의에서는 개략도, 종이 지도, 텍스트 지시 같은 다른 힌트 출처의 활용을 향후 과제로 꼽고, 위성 이미지만 사용했다고 말하지만, Section V-A에서는 개략적인 도로 지도도 시험한다.
GPS가 필요하다. GPS도 위에서 본 이미지도 없으면 탐색이 정보 없는 탐색이 되어 30분 넘게 목표에 도달하지 못했다.
기준선 비교는 규모가 작아, 10개 환경 각각에서 시행 1회, 목표는 최대 500 m이다. 킬로미터 규모 주행과 오래된 힌트 및 틀린 힌트 시험은 단일 시연이다.
휴리스틱 단독으로는 단일 학습 궤적 규모에서만 추론하며, 이는 Section III-C에 최대 50 m로 적혀 있지만 초록과 Section IV-B는 가장 긴 학습 궤적을 80 m로 제시한다. 장거리 평가는 GPS로 궤적을 이어 붙이는 데 의존한다.
울창한 나무 수관 아래에서는 위성 이미지에 유용한 정보가 없으므로, 그곳에서의 진행은 국소 이미지 기반 모델에만 의존한다.

분야에 미친 영향

RSS 2022 Best Systems Paper Award 최종 후보이며, 121회 인용되었다. 논문은 코드 링크를 제공하지 않으며, 프로젝트 페이지에서 로봇 주행의 3인칭 시점을 포함한 실험 영상을 공유한다.

초록

로봇 내비게이션은 3D 재구성과 계획의 문제로, 또한 엔드투엔드 학습 문제로 다루어져 왔다. 그러나 장거리 내비게이션에는 계획과 국소적 주행 가능성에 대한 추론이 모두 필요하며, 도로 지도, GPS, 기타 부가 정보의 형태로 된 전역 지리 정보를 활용할 수 있어야 한다. 이러한 정보는 중요한 내비게이션 힌트를 제공하지만 정밀도가 낮거나 신뢰할 수 없을 수 있다. 본 연구에서는 학습과 계획을 통합하고, 개략적인 도로 지도, 위성 지도, GPS 좌표 같은 부가 정보를 정확하다고 의존하지 않으면서 계획 휴리스틱으로 활용할 수 있는 학습 기반 접근법을 제안한다. 우리의 방법 ViKiNG은 로봇의 현재 카메라 관측과 잠재적 하위 목표를 보고 그 하위 목표에 얼마나 쉽게 도달할 수 있는지 추론하는 국소 주행 가능성 모델과, 위에서 내려다본 지도를 보고 다양한 하위 목표에서 목적지까지의 거리를 추정하려는 휴리스틱 모델을 포함한다. 이 모델들은 휴리스틱 플래너가 최종 목적지에 도달하기 위한 최선의 다음 하위 목표를 결정하는 데 사용된다. 우리의 방법은 명시적인 기하 재구성을 수행하지 않으며, 환경의 위상적 표현만 사용한다. 학습 데이터셋에서 80미터보다 긴 궤적을 한 번도 본 적이 없음에도, ViKiNG은 이미지 기반의 학습된 제어기와 목표 지향 휴리스틱을 활용해 이전에 본 적 없는 환경에서 최대 3킬로미터 떨어진 목표까지 내비게이션할 수 있으며, 잠재적 경로를 탐색해 보고 실행 불가능하다고 판명되면 되돌아오는 등의 복잡한 행동을 보인다. 또한 ViKiNG은 저수준 제어기가 궁극적으로 자기 중심 이미지 관측에 기반해 결정을 내리고 지도는 계획 휴리스틱으로만 사용하므로, 신뢰할 수 없는 지도와 GPS에 강인하다.

링크

arXiv 2202.11271: https://arxiv.org/abs/2202.11271
DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
PDF: https://arxiv.org/pdf/2202.11271v1
프로젝트 페이지: https://sites.google.com/view/viking-release