ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints

作者: Dhruv Shah, Sergey Levine · RSS 2022

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

ViKiNG 将一个基于图像的局部控制器与一个由卫星图像或道路图引导的类 A* 搜索相结合，在长度不足 80 m 的行驶数据上训练后，能到达一公里以外的目标。

为何重要

它展示了廉价、不完美的地图数据如何在不构建几何地图的情况下引导机器人远距离导航，同时在地图过时时控制仍保持鲁棒。沿人行道和小径行进以及从死胡同中退出，来自训练数据和搜索，而不是来自手写的规则。

问题

被派往未见过的户外环境中远处目标的机器人，既需要局部可通行性推理，也需要对更大范围地理的了解。几何建图方法无法从先验数据中获益，学习得到的导航策略只达到过很短的距离，而现有的地图和 GPS（精度为 2–5 m，是机器人尺寸的 4–10×）可能过时或错误，因此不能被信任用于控制。

提出的方法

一个在 42 小时离线行驶数据上训练的潜在目标模型，接收当前图像和一张子目标图像，预测时间距离、下一个动作和 GPS 偏移；变分信息瓶颈使它还能采样可到达的候选子目标。第二个模型在按 GPS 拼接起来的训练轨迹上用对比目标训练，在给定俯视卫星图像或道路图的情况下，为子目标是否位于通往目标的路径上打分。ViKiNG-A 是一种在行驶过程中构建的拓扑图上进行的类 A 物理搜索，它只把该分数用作启发式，而每个行驶动作都来自相机图像。

关键见解

只把地理提示用作搜索启发式、而由相机图像进行控制，使机器人在地图过时（一辆卡车横停在之前的路径上）或错误（卫星图像偏移约 5 km）时仍能正常工作。
按 GPS 位置将相互重叠的训练轨迹拼接成更长的宏轨迹，使启发式模型能够学会为远超任何单条训练行驶长度的目标打分。
提示的类型会改变行为：用道路图训练的模型沿着标出的道路走，而用卫星图像训练的模型会穿过草地以走更短的路径。
沿人行道和林间小径行进等导航行为继承自训练数据中的遥操作部分；并没有单独的机制奖励沿小径行进。
物理搜索不同于图搜索：机器人无法跳到任意节点，也无法在行驶前知道边的代价，因此 ViKiNG-A* 在每个候选的代价中加入行驶代价和一个基于访问计数的新颖性项。

主要结果

在 10 个未见过的环境中寻找目标（Table I）：ViKiNG 简单（<50 m）3/3，中等（50–150 m）4/4，困难（150–500 m）3/3；RECON-H 为 3/3、3/4、1/3；GCG 为 3/3、2/4、0/3；行为克隆和离线 PPO 为 2/3、1/4、0/3。
在较难的行驶中，出现人工接管之前（Table II），ViKiNG 的平均位移为 250.0+ m，速度 1.36 m/s；RECON-H 为 188.3 m，0.41 m/s；GCG 为 78.3 m，1.40 m/s；离线 PPO 为 47.2 m；行为克隆为 19.5 m。
在未见过的校园和城市环境中进行了 1.05 km、1.20 km 和 1.55 km 的单次公里级行驶，一条带六个检查点、爬升 70 m 的 2.73 km 徒步小径（正文中写作 2.7 km），以及一条无任何干预的 2.65 km 郊区巡检环线。
摘要称目标最远达 3 km，引言称在 25 分钟内到达了 2 km 以外的目标；实验中报告的最长行驶为 2.73 km 和 2.65 km。
没有俯视图像（仅用 GPS 距离启发式）时，机器人用时 17:20、行驶 0.73 km，而有卫星图像时为 06:40 和 0.31 km；既无 GPS 也无图像时，超过 30 分钟仍未到达目标。
部署中的平均速度为 1.36 m/s，而训练数据中为 1.68 m/s，训练数据中的轨迹平均长 45 m。

局限

论文没有局限性章节。其讨论部分将使用其他提示来源（例如示意图、纸质地图或文本指令）列为未来工作，并称只使用了卫星图像，尽管 Section V-A 也测试了示意道路图。
需要 GPS：既无 GPS 也无俯视图像时，搜索变为无信息搜索，超过 30 分钟仍未到达目标。
基线比较规模较小，10 个环境中每个只进行一次试验，目标最远 500 m；公里级行驶以及过时提示和错误提示的测试都是单次演示。
启发式模型本身只能在单条训练轨迹的尺度上推理，Section III-C 称其最长 50 m，而摘要和 Section IV-B 给出的最长训练轨迹为 80 m；远距离打分依赖于按 GPS 拼接轨迹。
在茂密的树冠下，卫星图像不含有用信息，因此在那里的推进只依赖基于图像的局部模型。

对领域的影响

入围 RSS 2022 最佳系统论文奖，被引用 121 次。论文没有给出代码链接；其项目页面分享了实验视频，包括机器人行驶的第三人称视角。

摘要

机器人导航一直被当作 3D 重建与规划问题来处理，也被当作端到端学习问题来处理。然而，远距离导航既需要对局部可通行性进行规划和推理，又需要能够利用关于全局地理的信息，这些信息以道路图、GPS 或其他辅助信息的形式存在，能提供重要的导航提示，但可能精度较低或不可靠。在这项工作中，我们提出了一种将学习与规划相结合的基于学习的方法，它可以把示意道路图、卫星地图和 GPS 坐标等辅助信息用作规划启发式，而不依赖于这些信息是准确的。我们的方法 ViKiNG 包含一个局部可通行性模型，它根据机器人当前的相机观测和一个潜在子目标，推断该子目标有多容易到达；还包含一个启发式模型，它根据俯视地图尝试估计各个子目标到目的地的距离。启发式规划器利用这些模型来决定下一个最佳子目标，以到达最终目的地。我们的方法不进行显式的几何重建，只使用环境的拓扑表示。尽管其训练数据集中从未出现过长于 80 米的轨迹，ViKiNG 仍能利用其基于图像的学习控制器和目标导向的启发式，在此前未见过的环境中导航到最远 3 公里外的目标，并表现出复杂的行为，例如试探可能的路径，并在发现其不可行时折返。ViKiNG 对不可靠的地图和 GPS 也具有鲁棒性，因为底层控制器最终基于自我中心的图像观测做出决策，地图只被用作规划启发式。

链接

arXiv 2202.11271: https://arxiv.org/abs/2202.11271
DOI 10.15607/RSS.2022.XVIII.019: https://doi.org/10.15607/RSS.2022.XVIII.019
PDF: https://arxiv.org/pdf/2202.11271v1
项目主页: https://sites.google.com/view/viking-release