Deep Drone Racing: Learning Agile Flight in Dynamic Environments

作者: Elia Kaufmann, Antonio Loquercio, René Ranftl, Alexey Dosovitskiy, Vladlen Koltun, Davide Scaramuzza · CoRL 2018

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一个 CNN 将一张机载相机图像映射为目标方向和速度；由最小加加速度规划器和经典控制器驾驶四旋翼，因此无需地图或全局位姿即可在带有移动门的赛道上竞速。

为何重要

稳定性由经典控制器负责，网络只处理感知，因此学习部分可以在小型机载计算机上以约 10 Hz 运行。由于指令是在机体坐标系中给出的，该系统不会受到漂移的影响，而高速时这种漂移会影响视觉惯性里程计基线。

问题

跟踪预先计算的全局轨迹的竞速无人机需要高度准确的状态估计，而 SLAM 式定位在运动模糊和高加速度下会发生漂移。这类方法还假设世界是静态的，因此当门移动时无法预先固定航路点。

提出的方法

一个基于 ResNet 的 CNN 接收一张 300 × 200 的 RGB 图像，输出归一化图像坐标中的目标方向以及一个归一化速度。目标被反投影为一个 3D 点，计算一条最小加加速度的状态拦截轨迹以到达该点，并由现有的底层控制器跟踪，以滚动时域方式重新计算。网络通过模仿一个跟随最小 snap 全局轨迹的专家进行训练，并使用来自多种门布局的数据，从而能应对测试时移动的门。

关键见解

预测航路点和速度而不是机体角速率，可以让经典控制器保持四旋翼稳定；端到端的机体角速率回归器在仿真中无法穿过一个以上的门
在几种静态门布局上训练，就足以让策略穿过在飞行中移动的门
学习到的策略并不受其示范的限制：它能应对移动的门，而它所模仿的专家却不能
可以安全地采集真实世界训练数据：用手携带四旋翼穿过赛道，同时由专家为每张图像打标签
单个训练好的网络可覆盖一定范围的激进程度，因为用户可以用所选的最大速度来缩放预测速度

主要结果

仿真，8 个门、116 m 的赛道：该方法在最高速度 9 m/s 以内可靠地完成任务，速度更高时性能平缓下降；VIO 基线因累积漂移而失败。第 4.2 节称每种设置运行五次，而图 4 的图注称每种速度运行 10 次
仿真中门以 8 m/s 移动：门的移动幅度最高达门直径的 1.5 倍时也没有坠机，而 VIO 基线即使在门轻微移动时也会失败
真实窄缝测试：从 0–30°、30–70° 和 70–90° 的初始角度出发（最后一个范围在起始时看不到门），网络分别在 100%、80% 和 20% 的运行中穿过了门，而手工设计的窗口检测器为 70%、0% 和 0%
真实遮挡测试：该方法对最高 50% 门面积的遮挡具有鲁棒性，而手工设计的基线在中等遮挡下就失效了
真实 4 个门、21 m 的赛道：成功率和速度均高于基于 VIO 的规划加跟踪基线；专业和中级水平的人类飞手速度更快，但坠机更频繁
仿真比较：端到端机体角速率基线在 4 个门、43 m 的赛道上从未穿过一个以上的门，即使其训练样本为 35k，而所提方法为 5k

局限

如果环境外观的变化大大超出训练中所见，性能将会下降
训练感知系统需要在应用环境中采集大量数据
在轨迹优化无法提供可供模仿的策略的情况下（例如极急的转弯），学习器也很可能失败
在仿真中速度超过 9 m/s 时，有限的预测频率（30 Hz）跟不上较大的横滚和俯仰角速率
人类飞手更快地完成了真实赛道，在急转弯中采用了更敏捷的机动，而该系统目前还无法对此进行推理

对领域的影响

获得 CoRL 2018 最佳系统论文奖（Best Systems Paper Award），被引用 166 次。论文附有补充视频链接；未发布代码或数据。

摘要

自主敏捷飞行给机器人学带来了根本性挑战，例如应对不可靠的状态估计、对动态变化的环境做出最优反应，以及在严苛的资源约束下实时耦合感知与动作。本文在动态环境中基于视觉的自主无人机竞速这一背景下研究这些挑战。我们的方法将卷积神经网络（CNN）与最先进的路径规划和控制系统相结合。CNN 将原始图像直接映射为一种鲁棒的表示，其形式为一个航路点和期望速度。随后规划器利用这些信息生成一段短的最小加加速度轨迹段以及相应的电机指令，以到达期望目标。我们在自主敏捷飞行场景中展示了该方法：一架基于视觉的四旋翼穿越可能带有移动门的无人机竞速赛道。我们的方法不需要任何显式的环境地图，并完全在机载端运行。我们在仿真和物理世界中对该方法的精度和鲁棒性进行了大量测试。我们还将该方法与最先进的导航方法以及专业的人类无人机飞手进行了比较。

链接

arXiv 1806.08548: https://arxiv.org/abs/1806.08548
DOI 10.48550/arXiv.1806.08548: https://doi.org/10.48550/arXiv.1806.08548
PDF: http://proceedings.mlr.press/v87/kaufmann18a/kaufmann18a.pdf