Deep Drone Racing: Learning Agile Flight in Dynamic Environments

著者: Elia Kaufmann, Antonio Loquercio, René Ranftl, Alexey Dosovitskiy, Vladlen Koltun, Davide Scaramuzza · CoRL 2018

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

CNN が機上カメラ画像 1 枚を目標方向と速度に写像し、躍度最小のプランナーと従来型の制御器がクアッドローターを飛ばすため、地図や大域的な姿勢なしに動くゲートのあるコースをレースできる。

重要な理由

安定性は従来型の制御器が受け持ち、ネットワークは知覚だけを扱うため、学習部分は小型の機上コンピュータ上で約 10 Hz で動作できる。指令は機体座標系で与えられるため、高速時に視覚慣性オドメトリのベースラインを悩ませるドリフトの影響を受けない。

課題

事前に計算した大域軌道を追従するレース用ドローンには非常に正確な状態推定が必要であり、SLAM 型の自己位置推定はモーションブラーや大きな加速度のもとでドリフトする。こうした手法は世界が静的であることも前提としているため、ゲートが動く場合にはウェイポイントを事前に固定できない。

提案手法

ResNet ベースの CNN が 300 × 200 の RGB 画像を受け取り、正規化画像座標での目標方向と正規化された速度を出力する。目標は 3D 点に逆投影され、そこに到達する躍度最小の状態インターセプト軌道が計算され、既存の低レベル制御器がそれを追従し、後退ホライズン方式で再計算される。ネットワークは、スナップ最小（minimum-snap）の大域軌道に従うエキスパートを模倣して学習され、複数のゲート配置のデータを用いることで、テスト時に動くゲートにも対処できるようになる。

主な知見

機体角速度ではなくウェイポイントと速度を予測することで、従来型の制御器がクアッドローターを安定に保てる。エンドツーエンドの機体角速度回帰器は、シミュレーションで 1 つを超えるゲートを通過できなかった
静的なゲート配置を数種類学習するだけで、飛行中に動くゲートをポリシーが通過できるようになった
学習したポリシーはデモンストレーションに制約されない：模倣元のエキスパートには対処できない動くゲートにも対処できる
実世界の学習データは、エキスパートが各画像にラベルを付ける間にクアッドローターを手で持ってコースを通過させることで、安全に収集できる
ユーザーが選んだ最大速度で予測速度をスケーリングするため、学習済みの 1 つのネットワークで一定範囲の積極性をカバーできる

主な結果

シミュレーション、ゲート 8 個・116 m のコース：本手法は最高速度 9 m/s まで確実にタスクを完了し、それ以上の速度では性能が緩やかに低下する。VIO のベースラインは蓄積したドリフトにより失敗する。4.2 節では各設定 5 回の試行としているが、図 4 のキャプションでは速度ごとに 10 回としている
8 m/s で動くゲートのシミュレーション：ゲートの移動がゲート直径の 1.5 倍までなら墜落はなく、VIO のベースラインはゲートのわずかな移動でも失敗する
実機の狭い隙間のテスト：初期角度 0–30°、30–70°、70–90°（最後の範囲では開始時にゲートが見えない）から、ネットワークはそれぞれ試行の 100%、80%、20% でゲートを通過し、手作りの窓検出器では 70%、0%、0% だった
実機の遮蔽テスト：本アプローチはゲート面積の最大 50% までの遮蔽に対してロバストだったが、手作りのベースラインは中程度の遮蔽で破綻した
実機のゲート 4 個・21 m のコース：VIO ベースの計画・追従のベースラインより成功率も速度も高い。プロと中級の人間のパイロットはより速かったが、墜落の頻度も高かった
シミュレーションでの比較：エンドツーエンドの機体角速度のベースラインは、学習サンプルが 35k（提案手法は 5k）あっても、ゲート 4 個・43 m のコースで 1 つを超えるゲートを一度も通過できなかった

制限事項

環境の見た目が学習時に見た範囲を大きく超えて変化すると、性能は低下する
知覚システムの学習には、適用先の環境で収集した大量のデータが必要である
軌道最適化が模倣すべきポリシーを提供できない場合（例えば極端に急なターン）、学習器も失敗する可能性が高い
シミュレーションで 9 m/s を超えると、限られた予測レート（30 Hz）では大きなロール角速度とピッチ角速度に追いつけない
人間のパイロットは実機のコースをより速く完走し、急なターンでより機敏な操縦を行ったが、システムはまだそれについて推論できない

分野への影響

CoRL 2018 Best Systems Paper Award 受賞、被引用数 166。論文には補足動画へのリンクがあるが、コードやデータは公開していない。

概要

自律的な機敏飛行は、信頼性の低い状態推定への対処、動的に変化する環境への最適な反応、厳しい計算資源の制約下での知覚と行動のリアルタイムな結合など、ロボティクスにおける根本的な課題を提起する。本論文では、動的環境における視覚ベースの自律ドローンレースという文脈でこれらの課題を考える。我々のアプローチは、畳み込みニューラルネットワーク（CNN）と最先端の経路計画・制御システムを組み合わせる。CNN は生の画像を、ウェイポイントと目標速度という形のロバストな表現へ直接写像する。この情報はプランナーによって用いられ、目標に到達するための短い躍度最小の軌道セグメントと対応するモーター指令が生成される。視覚ベースのクアッドローターが、動く可能性のあるゲートを含むドローンレースのコースを通過する自律的な機敏飛行のシナリオで、本手法を実証する。本手法は環境の明示的な地図を一切必要とせず、完全に機上で動作する。本アプローチの精度とロバスト性を、シミュレーションと実世界で広範に検証する。また、本手法を最先端のナビゲーション手法およびプロの人間のドローンパイロットと比較評価する。

リンク

arXiv 1806.08548: https://arxiv.org/abs/1806.08548
DOI 10.48550/arXiv.1806.08548: https://doi.org/10.48550/arXiv.1806.08548
PDF: http://proceedings.mlr.press/v87/kaufmann18a/kaufmann18a.pdf