AK: Attentive Kernel for Information Gathering

作者: Weizhe Chen, Roni Khardon, Lantao Liu · RSS 2022

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

一种非平稳 GP 核函数，它混合固定的长度尺度，并屏蔽跨越剧烈变化处的相关性，使地图的不确定性跟随真实误差，机器人便在重要的地方采样。

为何重要

当采样机器人的模型在误差高的地方给出高不确定性时，规划器会把采样预算花在复杂区域上，而不是均匀地覆盖空间。由于该核函数可以包裹任何现有的基核函数，它可以直接嵌入现有的基于 GP 的建图和信息规划流程中；野外测试展示了它在一艘进行水深测绘的水面艇上运行。

问题

机器人信息采集根据概率模型的不确定性来选择机器人下一步在哪里采样，该模型通常是采用 RBF 等平稳核函数的高斯过程。真实地形并不平稳：有些区域的变化远大于其他区域，因此平稳模型会过度平滑，并且仅仅因为某些区域未被访问就给它们分配高不确定性，而与误差无关。现有的非平稳核函数往往过于灵活，难以可靠地训练。

提出的方法

注意力核结合了两种学习得到的、依赖于输入的选择。长度尺度选择使用一个小型神经网络给出的 softmax 权重，混合一组具有预设长度尺度的固定基核函数，而不是学习一个长度尺度函数。实例选择为每个输入赋予一个软隶属度向量，其点积会屏蔽位于剧烈过渡两侧的点之间的相关性；所有参数都通过最大化 GP 边缘似然来拟合，所得的不确定性驱动一个以熵减距离为目标的航点规划器。

关键见解

在预设的长度尺度之间进行选择，而不是学习一个自由的长度尺度函数，使非平稳核函数更易于训练，并且与任何基核函数兼容。
用软隶属度向量屏蔽相关性，可以处理仅靠小长度尺度难以很好建模的突变。
改进信息规划只需要校准得更好的不确定性，而不需要更好的规划器：使用同一个简单规划器时，AK 将样本集中在高误差区域，而 RBF 则均匀地覆盖空间。
消融实验表明长度尺度选择是必要的；在当前的训练方案下，实例选择在汇总指标上没有带来显著提升，但作者预计它在剧烈过渡处会有帮助。
在输入归一化之后，性能随基核函数数量（推荐 5 到 10 个）、隐藏单元和长度尺度边界的变化很小。

主要结果

在四个高程地图环境和 10 个随机种子上，AK 在信息规划实验中的 SMSE 和 MSLL 均低于 RBF、Gibbs 和 Deep Kernel Learning（指标在采样曲线上取平均）。
在 N17E073 上的信息规划：AK 的 SMSE 为 0.114，RBF 为 0.145，Gibbs 为 0.143，DKL 为 0.138；MSLL 为 −1.27，对比 −0.97、−1.16 和 −1.01。
在 N43W080 上的主动采样：AK 的 SMSE 为 0.051，RBF 为 0.078；MSLL 为 −1.72，对比 −1.41。
在 N17E073 上的随机采样：AK 的 SMSE 为 0.111，RBF 为 0.133；MSLL 为 −1.24，对比 −0.99。
在野外测试中，一艘配备向下单波束声呐的自主水面艇将大部分样本采集在高程变化剧烈的区域，并降低了整个工作区域的预测不确定性（定性结果）。

局限

作者指出，当非平稳核函数训练多次迭代时，边缘似然的奥卡姆剃刀效应并不能防止过拟合；他们使用一种经验性的提前停止方案，并称有原则的训练方法仍是一个开放问题。
未处理离群值和异方差噪声，这被列为未来工作。
在当前的训练方案下，实例选择在汇总指标上没有带来可测量的改进，而一个双网络变体在一个环境中使不确定性变差。
基准测试仅使用 2D 高程地图，野外实验仅为一次定性运行，未报告数值误差。
核函数的计算成本随基核函数的数量增长（核矩阵为 O(N²M)），这还要叠加在标准 GP 的扩展成本之上。

对领域的影响

该论文获得了 RSS 2022 最佳学生论文奖，被引用 22 次。论文发布了用于复现的代码，以及用于机器人信息采集研究的软件库 PyPolo。

摘要

机器人信息采集（Robotic Information Gathering，RIG）依靠概率模型的不确定性来识别关键区域，以便高效地收集数据。采用平稳核函数的高斯过程（GP）已被广泛用于空间建模。然而，真实世界的空间数据通常不满足平稳性假设，即假设不同位置具有相同程度的变异性。因此，预测不确定性无法准确反映预测误差，限制了 RIG 算法的成效。我们提出了一个新的非平稳核函数族，称为注意力核（Attentive Kernel，AK），它简单、鲁棒，并且可以将任何现有核函数扩展为非平稳核函数。我们在高程建图任务中评估了这种新核函数，与常用的 RBF 核以及其他流行的非平稳核函数相比，AK 提供了更好的精度和不确定性量化。改进后的不确定性量化引导下游的 RIG 规划器在高误差区域周围收集更有价值的数据，从而进一步提高预测精度。一项野外实验表明，所提出的方法可以引导一艘自主水面艇（ASV）优先在空间变化大的位置收集数据，使模型能够刻画显著的环境特征。

链接

arXiv 2205.06426: https://arxiv.org/abs/2205.06426
DOI 10.48550/arXiv.2205.06426: https://doi.org/10.48550/arXiv.2205.06426
PDF: https://arxiv.org/pdf/2205.06426v1
代码: https://github.com/weizhe-chen/attentive_kernels
项目主页: https://weizhe-chen.github.io/attentive_kernels/