TartanDrive: A Large-Scale Dataset for Learning Off-Road Dynamics Models

저자: Samuel Triest, Matthew Sivaprakasam, Sean J. Wang, Wenshan Wang, Aaron M. Johnson, Sebastian Scherer · ICRA 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

7가지 모달리티를 갖춘 개조 Yamaha Viking ATV로 수집한 5시간, 630개 궤적의 오프로드 데이터셋과 잠재 동역학 모델 벤치마크. 외수용성 입력은 험한 지형에서 가장 큰 도움이 된다.

중요한 이유

동역학 모델을 학습하려면 수십만 회 규모의 상호작용이 필요하며, 이를 오프로드에서 수집하는 것은 차량과 탑승자에게 위험하다. 이 데이터셋은 행동을 고유 감각 및 외수용성 데이터와 짝지어, 시뮬레이션 대신 실제 차량–지형 상호작용으로 모델을 학습하고 비교할 수 있게 한다. 벤치마크는 또한 실제 세계의 부분 관측 가능성 아래에서 보조 관측 예측이 거의 도움이 되지 않는 것처럼 현재 아키텍처가 부족한 지점을 보여준다.

문제

오프로드 로봇은 갇히거나 손상되지 않으려면 지형의 기하와 의미만이 아니라 속도와 진입 각도 같은 동역학도 추론해야 하며, 해석적 지형 모델은 충실도가 낮다. 기존 오프로드 데이터셋은 대부분 의미론적 분할을 목표로 하며, 상호작용 데이터가 있는 데이터셋은 작거나 모달리티가 적다. 예를 들어 Rellis-3D의 궤적은 약 20분(12,000개 데이터 포인트) 분량이다.

제안 방법

저자들은 피츠버그의 시험장에서 키 큰 풀, 바위, 진흙, 물웅덩이, 가파른 경사를 지나도록 개조한 Yamaha Viking ATV를 원격 조종하며, 스로틀 및 조향 행동, GNSS 자세, 스테레오 RGB 이미지, 스테레오로부터 얻은 하향식 높이 및 RGB 지도, IMU, 쇼크 업소버 변위, 바퀴 RPM, 브레이크 개입을 10 Hz로 기록했다. 이들은 모달리티마다 하나의 인코더를 두고 전문가 곱(product of experts)으로 융합하며, GRU 잠재 모델과 모달리티별 디코더를 갖추고, 상태, 재구성 또는 대조 손실로 학습한 잠재 공간 동역학 모델을 기구학적 자전거 모델과 비교하여 벤치마크한다.

핵심 통찰

1초 상태 변위에 대한 t-SNE 분석은 비슷한 행동 시퀀스가 매우 다른 움직임으로 이어질 수 있음을 보여주므로, 정확한 예측에는 행동 시퀀스 이외의 특징이 필요하다.
세 가지 손실(상태, 재구성, 대조)은 비슷한 정확도를 보였으며, 저자들은 그 원인을 정적 배경 위의 에이전트를 다루는 시뮬레이션 벤치마크와 달리 실제 주행에서는 미래 관측을 예측하기 어렵기 때문이라고 본다.
바퀴 RPM이 속도와 높은 상관관계를 가지므로 고유 감각 시계열 데이터(IMU, 쇼크 업소버 변위, 바퀴 RPM)가 가장 정보가 많은 입력이지만, 카메라와 지도 입력도 여전히 정확도를 높인다.
외수용성 입력은 지형이 가파르고 고르지 않을수록 더 큰 도움이 된다.

주요 결과

데이터셋 크기: 초록과 기여 부분은 대략 200,000개의 상호작용을 제시하지만, 데이터셋 비교 표(Table I)는 184,000개 샘플을 나열한다. 데이터는 630개 궤적, 약 5시간의 주행으로 수집되었다.
상태 손실로 학습했을 때 20스텝 후 평균 상태 예측 RMSE: 기구학적 자전거 모델 1.1638, 이미지만 0.5263, 이미지 + 지도 0.3521, 시계열 0.2176, 모든 모달리티 0.1896. 전체에서 가장 낮은 값은 재구성 손실을 쓴 모든 모달리티의 0.1674였다.
이미지 전용 모델에 하향식 지도를 추가하자 예측 오차가 33% 줄었다. 시계열 데이터를 추가하면 이미지 + 지도에서 모든 모달리티로 갈 때 정확도가 대략 45% 향상되었고, 시계열 모델에 이미지 모달리티를 추가하면 대략 15% 향상되었다.
고유 감각에 외수용 감각을 더하자 원래 평가 세트에서 오차가 0.2176에서 0.1896으로(13%), 별도로 수집한 더 어려운 세트에서 0.7313에서 0.5394로(26%) 낮아졌다.
더 어려운 세트의 궤적 난이도(초당 평균 높이 변화) 중앙값은 0.2253 m/s로 원래 세트의 0.0866 m/s보다 높으며, 그 궤적의 87%가 원래 세트의 중앙값을 넘는다.

한계

향상된 동역학 예측이 험한 지형에서의 항법에 충분한지는 아직 시험되지 않았다. 적절한 비용 함수와 계획기를 갖춘 항법 스택에 모델을 통합하는 일은 향후 과제로 남겨 두었다.
감각 관측의 보조 예측은 실제 세계 주행의 부분 관측 가능성 때문에 이점이 거의 없다.
잠재 모델은 어떤 형태의 지도 작성이나 SLAM을 학습할 만큼 긴 시퀀스로 학습되지 않아, 장기 추론이 제한된다.
대조 손실에서는 시계열 모델과 모든 모달리티 모델의 성능이 사실상 같다.
데이터는 한 시험장의 차량 한 대에서 나왔으며, 안전을 위해 무작위 제어가 아닌 사람의 원격 조종으로 주행했고, 브레이크는 사람 운전자가 조작했다.

분야에 미친 영향

이 논문은 ICRA 2022 Outstanding Learning Paper award의 최종 후보에 올랐으며 인용 수는 113회이다. 데이터셋은 네트워크 아키텍처와 학습 하이퍼파라미터를 제시하는 부록과 함께 https://github.com/castacks/tartan_drive 에 공개되어 있다.

초록

우리는 오프로드 주행을 위한 동역학 모델 학습용 대규모 데이터셋인 TartanDrive를 제시한다. 개조한 Yamaha Viking ATV에서 7가지 고유한 센싱 모달리티로 다양한 지형에 걸쳐 대략 200,000개의 오프로드 주행 상호작용 데이터셋을 수집했다. 저자들이 아는 한, 이는 상호작용 수와 센싱 모달리티 모두에서 가장 큰 실제 세계 다중 모달 오프로드 주행 데이터셋이다. 또한 이 데이터셋에서 고차원 관측으로부터의 모델 기반 강화학습을 위한 여러 최신 방법을 벤치마크한다. 우리는 이러한 모델을 다중 모달로 확장하면 특히 더 어려운 지형에서 오프로드 동역학 예측 성능이 크게 향상됨을 발견했다. 또한 오프로드 주행 작업에 대한 현재 신경망 아키텍처의 몇 가지 결점을 확인한다. 우리 데이터셋은 https://github.com/castacks/tartan_drive 에서 이용할 수 있다.

링크

arXiv 2205.01791: https://arxiv.org/abs/2205.01791
DOI 10.48550/arXiv.2205.01791: https://doi.org/10.48550/arXiv.2205.01791
PDF: https://arxiv.org/pdf/2205.01791v1
코드: https://github.com/castacks/tartan_drive