Deep Drone Racing: Learning Agile Flight in Dynamic Environments
作者: Elia Kaufmann, Antonio Loquercio, René Ranftl, Alexey Dosovitskiy, Vladlen Koltun, Davide Scaramuzza · CoRL 2018
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。
一句話摘要
CNN 將一張機上相機影像對應成目標方向與速度；由最小急動度規劃器與傳統控制器駕駛四旋翼，因此不需地圖或全域姿態，即可在有移動門的賽道上競速。
為何重要
穩定性交由傳統控制器負責，網路只處理感知，因此學習部分能在小型機上電腦以約 10 Hz 執行。由於指令以機體座標系給出，系統不會受到漂移影響，而高速時視覺慣性里程計基準方法正受此漂移所苦。
問題
追蹤預先計算之全域軌跡的競速無人機需要極準確的狀態估測，而 SLAM 式定位在動態模糊與高加速度下會漂移。這類方法也假設世界是靜態的，因此當門會移動時，無法事先固定航點。
提出的方法
以 ResNet 為基礎的 CNN 接收一張 300 × 200 的 RGB 影像，輸出正規化影像座標中的目標方向以及正規化速度。目標被反投影成一個 3D 點，計算一條最小急動度的狀態攔截軌跡以抵達該點，並由現有的低階控制器追蹤，以滾動時域方式重新計算。網路以模仿一位遵循最小 snap 全域軌跡的專家來訓練，並使用多種門配置的資料，使其能應付測試時移動的門。
關鍵見解
- 預測航點與速度而非機體角速率，可讓傳統控制器維持四旋翼穩定；端到端的機體角速率迴歸器在模擬中無法通過超過一個門
- 在數種靜態門配置上訓練，就足以讓策略穿過飛行中移動的門
- 學到的策略不受其示範所限：它能應付移動的門，而它所模仿的專家卻做不到
- 真實世界的訓練資料可以安全地蒐集：以手持方式帶著四旋翼走過賽道，同時由專家為每張影像標註
- 單一訓練好的網路可涵蓋一段範圍的激進程度，因為使用者可用選定的最高速度縮放預測速度
主要結果
- 模擬，8 個門、116 m 的賽道：此方法在最高速度 9 m/s 以內能可靠完成任務，速度更高時效能平緩下降；VIO 基準方法因累積漂移而失敗。第 4.2 節寫每種設定執行五次，而圖 4 的說明寫每種速度執行 10 次
- 模擬中門以 8 m/s 移動：門的移動幅度達門直徑的 1.5 倍時仍無墜機，而 VIO 基準方法即使門只小幅移動也會失敗
- 真實窄縫測試：從 0–30°、30–70° 與 70–90° 的初始角度出發（最後一個範圍起始時看不到門），網路分別在 100%、80% 與 20% 的試驗中通過門，手工設計的窗框偵測器則為 70%、0% 與 0%
- 真實遮擋測試：此方法對最多 50% 門面積的遮擋仍保持穩健，手工設計的基準方法在中度遮擋時即失效
- 真實 4 個門、21 m 的賽道：成功率與速度皆高於以 VIO 為基礎的規劃加追蹤基準方法；專業與中階的人類飛手較快，但更常墜機
- 模擬比較：端到端機體角速率基準方法在 4 個門、43 m 的賽道上從未通過超過一個門，即使它有 35k 個訓練樣本，而所提方法只有 5k
限制
- 若環境外觀的變化大幅超出訓練時所見，效能將會下降
- 訓練感知系統需要在應用環境中蒐集大量資料
- 在軌跡最佳化無法提供可模仿之策略的情況下（例如極急的轉彎），學習器也很可能失敗
- 在模擬中超過 9 m/s 時，有限的預測頻率（30 Hz）跟不上很大的滾轉與俯仰角速率
- 人類飛手更快完成真實賽道，在急彎中做出更敏捷的動作，而系統目前還無法對此進行推理
對領域的影響
榮獲 CoRL 2018 最佳系統論文獎（Best Systems Paper Award），被引用 166 次。論文附有補充影片連結；未釋出程式碼或資料。
摘要
自主敏捷飛行為機器人學帶來根本性的挑戰，例如因應不可靠的狀態估測、對動態變化的環境做出最佳反應，以及在嚴苛的資源限制下即時結合感知與動作。本文在動態環境中以視覺為基礎的自主無人機競速情境下探討這些挑戰。我們的方法結合卷積神經網路（CNN）與最先進的路徑規劃及控制系統。CNN 直接將原始影像對應成一個穩健的表示，形式為一個航點與期望速度。接著規劃器利用這些資訊，產生一段短的最小急動度軌跡片段以及對應的馬達指令，以抵達期望目標。我們在自主敏捷飛行情境中展示此方法：一架以視覺為基礎的四旋翼穿越可能含有移動門的無人機競速賽道。我們的方法不需要任何明確的環境地圖，且完全在機上執行。我們在模擬與實體世界中大量測試此方法的精確度與穩健性。我們也將此方法與最先進的導航方法及專業的人類無人機飛手進行比較。
連結
- arXiv 1806.08548: https://arxiv.org/abs/1806.08548
- DOI 10.48550/arXiv.1806.08548: https://doi.org/10.48550/arXiv.1806.08548
- PDF: http://proceedings.mlr.press/v87/kaufmann18a/kaufmann18a.pdf