Deep Drone Racing: Learning Agile Flight in Dynamic Environments

저자: Elia Kaufmann, Antonio Loquercio, René Ranftl, Alexey Dosovitskiy, Vladlen Koltun, Davide Scaramuzza · CoRL 2018

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

CNN이 기체 탑재 카메라 이미지 한 장을 목표 방향과 속도로 매핑하고, 최소 저크 플래너와 고전적 제어기가 쿼드로터를 비행시켜, 지도나 전역 자세 없이 움직이는 게이트가 있는 트랙을 질주한다.

중요한 이유

안정성은 고전적 제어기가 담당하고 신경망은 인식만 처리하므로, 학습된 부분은 작은 탑재 컴퓨터에서 약 10 Hz로 실행될 수 있다. 명령이 동체 좌표계로 주어지기 때문에, 이 시스템은 고속에서 시각-관성 주행거리계 기준선에 영향을 주는 드리프트를 겪지 않는다.

문제

미리 계산된 전역 궤적을 추종하는 레이싱 드론은 매우 정확한 상태 추정이 필요하며, SLAM 방식의 위치 추정은 모션 블러와 큰 가속도 아래에서 드리프트한다. 이러한 방법은 또한 정적인 세계를 가정하므로, 게이트가 움직이면 웨이포인트를 미리 고정할 수 없다.

제안 방법

ResNet 기반 CNN이 300 × 200 RGB 이미지를 받아 정규화된 이미지 좌표의 목표 방향과 정규화된 속도를 출력한다. 목표는 3D 점으로 역투영되고, 그 점에 도달하기 위한 최소 저크 상태 차단(state-interception) 궤적이 계산되며, 기존의 저수준 제어기가 이를 추종하고, 이 과정은 이동 구간(receding-horizon) 방식으로 다시 계산된다. 네트워크는 minimum-snap 전역 궤적을 따르는 전문가를 모방해 학습되며, 시험 시 움직이는 게이트에 대처할 수 있도록 여러 게이트 배치의 데이터를 사용한다.

핵심 통찰

• 동체 각속도 대신 웨이포인트와 속도를 예측하면 고전적 제어기가 쿼드로터를 안정적으로 유지할 수 있다. 종단 간 동체 각속도 회귀기는 시뮬레이션에서 게이트를 하나 넘게 통과하지 못했다
• 여러 정적 게이트 배치로 학습한 것만으로도 정책이 비행 중 움직이는 게이트를 통과할 수 있었다
• 학습된 정책은 시연의 한계에 묶이지 않는다. 정책이 모방하는 전문가는 움직이는 게이트에 대처하지 못하지만 정책은 대처한다
• 전문가가 각 이미지에 레이블을 다는 동안 사람이 쿼드로터를 손에 들고 트랙을 통과시키면 실제 세계 학습 데이터를 안전하게 수집할 수 있다
• 사용자가 예측된 속도를 선택한 최대 속도로 스케일링하므로, 학습된 단일 네트워크가 여러 수준의 공격성을 다룬다

주요 결과

• 시뮬레이션, 게이트 8개의 116 m 트랙: 이 방법은 최대 속도 9 m/s까지 과제를 안정적으로 완수하고 더 높은 속도에서는 점진적으로 성능이 저하된다. VIO 기준선은 누적 드리프트로 실패한다. 4.2절은 설정당 5회 실행이라고 하고, Figure 4 캡션은 속도당 10회 실행이라고 한다
• 8 m/s에서 움직이는 게이트가 있는 시뮬레이션: 게이트 지름의 최대 1.5배까지 게이트가 움직여도 충돌이 없었고, VIO 기준선은 작은 게이트 움직임에도 실패한다
• 실제 좁은 틈 시험: 초기 각도 0–30°, 30–70°, 70–90°(마지막 범위에서는 시작 시 게이트가 보이지 않음)에서 네트워크는 각각 실행의 100%, 80%, 20%에서 게이트를 통과했으며, 수작업 창 검출기는 70%, 0%, 0%였다
• 실제 가림 시험: 이 접근법은 게이트 면적의 최대 50%까지 가려져도 강건했고, 수작업 기준선은 중간 정도의 가림에서 무너졌다
• 실제 게이트 4개의 21 m 트랙: VIO 기반 계획·추종 기준선보다 성공률과 속도가 높았다. 전문 및 중급 인간 조종사는 더 빨랐지만 더 자주 추락했다
• 시뮬레이션 비교: 종단 간 동체 각속도 기준선은 게이트 4개의 43 m 트랙에서 제안 방법의 5k에 비해 35k의 학습 샘플을 쓰고도 게이트를 하나 넘게 통과한 적이 없었다

한계

• 환경의 외관이 학습에서 본 것을 넘어 크게 바뀌면 성능이 저하될 것이다
• 인식 시스템을 학습하려면 적용 환경에서 수집한 상당한 양의 데이터가 필요하다
• 극도로 급한 회전처럼 궤적 최적화가 모방할 정책을 제공할 수 없는 경우에는 학습기도 실패할 가능성이 높다
• 시뮬레이션에서 9 m/s를 넘으면 제한된 예측 속도(30 Hz)가 큰 롤 및 피치 각속도를 따라가지 못한다
• 인간 조종사는 시스템이 아직 추론할 수 없는 급회전에서의 더 민첩한 기동으로 실제 트랙을 더 빨리 완주했다

분야에 미친 영향

CoRL 2018 Best Systems Paper Award 수상, 인용 166회. 논문은 보충 영상 링크를 제공하며, 코드나 데이터는 공개하지 않는다.

초록

자율 민첩 비행은 신뢰할 수 없는 상태 추정에 대처하고, 동적으로 변하는 환경에 최적으로 반응하며, 심한 자원 제약 아래에서 인식과 행동을 실시간으로 결합하는 것과 같은 로봇공학의 근본적인 과제를 제기한다. 본 논문에서는 동적 환경에서의 자율적인 비전 기반 드론 레이싱이라는 맥락에서 이러한 과제를 다룬다. 우리의 접근법은 합성곱 신경망(CNN)을 최신 경로 계획 및 제어 시스템과 결합한다. CNN은 원시 이미지를 웨이포인트와 목표 속도의 형태인 강건한 표현으로 직접 매핑한다. 이 정보는 이후 플래너가 원하는 목표에 도달하기 위한 짧은 최소 저크 궤적 구간과 그에 대응하는 모터 명령을 생성하는 데 사용된다. 우리는 비전 기반 쿼드로터가 움직일 수도 있는 게이트가 있는 드론 레이싱 트랙을 통과하는 자율 민첩 비행 시나리오에서 우리의 방법을 시연한다. 우리의 방법은 환경의 명시적인 지도를 전혀 필요로 하지 않으며 완전히 기체 내에서 실행된다. 우리는 시뮬레이션과 실제 세계에서 이 접근법의 정밀도와 강건성을 광범위하게 시험한다. 또한 최신 내비게이션 접근법 및 전문 인간 드론 조종사와 비교하여 우리의 방법을 평가한다.

링크

• arXiv 1806.08548: https://arxiv.org/abs/1806.08548
• DOI 10.48550/arXiv.1806.08548: https://doi.org/10.48550/arXiv.1806.08548
• PDF: http://proceedings.mlr.press/v87/kaufmann18a/kaufmann18a.pdf