A Multi-step Dynamics Modeling Framework For Autonomous Driving In Multiple Environments

저자: Jason Gibson, Bogdan Vlahov, David Fan, Patrick Spieler, Daniel Pastor, Ali-akbar Agha-mohammadi, Evangelos A. Theodorou · ICRA 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

물리 기반 하이브리드 모델 안에서 초기화된 LSTM을 적분 위치 손실로 학습하여, GPU MPPI 제어를 위해 오프로드 차량의 5 s 궤적을 실시간으로 예측한다.

중요한 이유

이 모델은 RTX 3080 한 장에서 18,432개의 샘플로 MPPI 안에서 실행되며 학습 호라이즌의 두 배에서도 쓸 만한 상태를 유지하는데, 이는 고속 오프로드 주행 플래너에 필요한 것이다. 레이블이 주행거리계에서만 나오므로, 더 저렴한 사람 주행 기록을 자율 주행 데이터와 함께 사용할 수 있다. 비교 결과는 또한 학습된 모델 안에 단순한 파라메트릭 액추에이터 모델을 유지하면 네트워크가 학습하지 않은 입력을 보았을 때 큰 오차를 막을 수 있음을 보여 준다.

문제

MPPI 같은 샘플링 기반 모델 예측 제어기는 초당 수백만 번의 순방향 예측을 실행하므로, 정확하면서도 계산 비용이 낮은 동역학 모델이 필요하다. 단일 스텝 예측으로 학습한 모델은 재귀적으로 롤아웃되므로 작은 오차가 호라이즌에 걸쳐 누적되고, 느린 효과는 잡음으로 취급된다. 오프로드 주행은 모델링하기 어려운 지형 상호작용과 조향 및 제동의 큰 액추에이터 지연을 더한다.

제안 방법

차량 모델은 브레이크와 조향에 대한 학습된 액추에이터 지연 모델(속도 제한 1차 지연과 작은 네트워크)과, 기구학 방정식 안의 엔진 및 지형 항력 네트워크로 나뉜다. 학습된 각 부분은 LSTM이며, 그 은닉 상태와 셀 상태는 과거 데이터에 대해 한 번 실행되는 별도의 초기화 네트워크가 설정하므로 모든 MPPI 샘플이 이를 재사용한다. 학습은 고정된 5 s 호라이즌에 걸친 예측 위치에 대한 적분 손실을 사용하는데, 이는 레이블로 매끄러운 주행거리계만 필요로 하며 사람 주행 데이터와 자율 주행 데이터를 섞을 수 있게 한다.

핵심 통찰

고정된 호라이즌에 대해 학습하면 LSTM의 장기 안정성이 필요 없어지지만, 모델은 5 s 학습 호라이즌의 두 배인 10 s에서도 안정적이었다
초기화 네트워크는 과거 데이터만 보므로 CPU에서 한 번 실행되고, 그 은닉 상태는 GPU에서 샘플링된 모든 궤적이 공유한다
적분 위치 손실 덕분에 네트워크는 바퀴 좌표계 항력처럼 직접적인 레이블이 없는 양을 출력할 수 있고, 잡음이 있는 주행거리계를 미분하지 않아도 된다
학습된 보정을 더한 파라메트릭 브레이크 및 조향 지연 모델이 순수 블랙박스 지연 네트워크를 능가했는데, 블랙박스 네트워크의 오차는 동역학 네트워크를 보지 못한 입력으로 밀어냈다
공유 엔진, 조향, 브레이크 모델에 환경마다 전환되는 지형 항력 네트워크를 더하여 사막과 관목지(chaparral) 데이터를 모두 다루었다

주요 결과

두 환경에서 얻은 약 650,000개 궤적의 데이터셋: Helendale(사람 ≈300,000, 자율 ≈100,000)과 Paso Robles(사람 ≈100,000, 자율 ≈150,000). 학습 세트 ≈500,000, 테스트 세트 ≈150,000
실제 액추에이터 상태를 사용할 때(통합 데이터), 학습된 모델은 t = 10 s에서 약 5 m의 거리 오차에 도달했으며(예: HI-LSTM 4.981 ± 17.143 m), 파라메트릭 베이스라인은 11.153 ± 77.551 m였다
자율 주행 데이터에서 전체 시스템, t = 5 s: HI-LSTM 2.089 ± 3.463 m, 요 오차 0.145 rad, 기구학 K-LSTM은 7.259 ± 28.837 m와 0.775 rad
전체 시스템, t = 10 s: HI-LSTM 5.722 ± 22.936 m, KI-LSTM은 21.015 ± 155.293 m
RTX 3080에서 18,432개 샘플로 MPPI 1회 반복에 하이브리드 모델은 59.346 ms와 CUDA 메모리 38.08 kB가 들었으며, 기구학 네트워크는 83.708 ms와 62.468 kB, 파라메트릭 모델은 23.327 ms였다
블랙박스 조향 네트워크의 평균 조향 오차는 파라메트릭 대응 모델의 약 2×였다

한계

예측은 손실이 낮더라도 처음 몇 스텝에서 매끄럽지 않을 수 있다. 저자들은 이를 진행 중인 문제라고 부른다
엔진과 지형 모델링만 놓고 보면 하이브리드 구조는 순수 학습 네트워크보다 정확도를 유의미하게 높이지 않았고, 초기화 네트워크의 효과는 제한적이었다
환경 클래스(사막, 삼림 지역)는 미리 알려져 있다고 가정하며, 해당 지형 네트워크를 실행 시 불러온다
이 방법은 주행거리계의 드리프트와 작은 도약에 민감하며, 이로 인해 속도 0 근처에서 동역학적으로 실현 불가능한 짧은 궤적과 과도하게 평활화된 출력이 생겼다
한 대의 차량으로 두 환경에서 검증했으며, 검증 세트와 테스트 세트는 같은 날의 시험에서 추출되었다

분야에 미친 영향

ICRA 2023 Outstanding Planning Paper 상 최종 후보에 올랐으며, 인용 수는 26회다. 논문은 보충 동영상을 제공하지만 코드나 데이터셋 공개는 명시하지 않는다.

초록

동역학 모델링은 흔히 차량을 자율화하는 첫 단계다. 온로드 자율주행차는 광범위하게 연구되었지만, 오프로드 차량은 많은 어려운 모델링 문제를 안고 있다. 오프로드 차량은 매우 복잡하고 모델링하기 어려운 지형/차량 상호작용을 겪을 뿐 아니라, 그 자체로도 복잡한 차량 동역학을 가진다. 이러한 복잡성은 효과적인 고속 제어와 계획을 어렵게 만들 수 있다. 이 논문에서 우리는 모델링 오차의 누적을 명시적으로 다루면서 샘플링 기반 제어기에 대해 확장 가능한 다단계 동역학 예측 프레임워크를 소개한다. 우리 방법은 하이브리드 모델의 학습 구성 요소로서 제한된 시간 호라이즌에 걸쳐 특별히 초기화된 Long Short-Term Memory(LSTM)를 사용하여, 두 가지 서로 다른 환경에서 4인승 전지형 차량(Polaris S4 1000 RZR)의 동역학을 예측한다. LSTM이 고정된 시간 호라이즌에 대해서만 예측하게 함으로써, 순환 신경망 학습에서 흔히 어려운 장기 안정성의 필요를 없앤다. 우리 프레임워크는 레이블로 주행거리계 정보만 필요하므로 유연하다. 광범위한 실험을 통해, 우리 방법이 어려운 오프로드 주행 시나리오에서 5초의 시간 호라이즌으로 수백만 개의 가능한 궤적을 실시간으로 예측할 수 있음을 보인다.

링크

arXiv 2305.02241: https://arxiv.org/abs/2305.02241
DOI 10.1109/ICRA48891.2023.10161330: https://doi.org/10.1109/ICRA48891.2023.10161330
PDF: https://arxiv.org/pdf/2305.02241v1