On Evaluation of Embodied Navigation Agents

作者: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用。

一句话总结

一份工作组关于导航研究的建议报告，而非新方法：DONE 动作、测地距离、SPL 指标、采用国际单位制的连续仿真器，以及基于四个数据集的标准场景。

为何重要

SPL 给出一个数字，同时奖励到达目标和采取高效路线，而 DONE 要求则检验智能体是否知道自己已经到达。论文还要求仿真工作说明其感知假设，例如完美的里程计或 GPS，并要求仿真器附带开源软件，用于将训练好的智能体部署到实体机器人上。

问题

3D 环境中的导航研究产生了许多互不兼容的任务定义、测试平台和评估协议，使结果难以比较。有些协议在智能体一接近目标时就判定回合成功，用忽略墙壁的欧氏距离衡量远近，或者在测试环境中训练却不报告智能体接触了多少。

提出的方法

一个由导航研究人员组成的工作组定义了目标类型（PointGoal、ObjectGoal、AreaGoal）、对测试环境事先接触的几种情形，以及七项建议。主要度量是 SPL：每个成功回合的得分为最短路径长度除以智能体路径长度与最短路径中的较大者，再对所有回合取平均；并且只有当智能体在距目标的距离阈值之内发出 DONE 动作时才判定成功。为 SUNCG、Matterport3D、AI2-THOR 和 Gibson 定义了标准的训练、验证和测试场景。

关键见解

• 成功与否应在智能体宣布 DONE 的那一刻判定，而不是在回合中某个更有利的较早时刻。
• 应以测地（最短路径）距离取代欧氏距离，因为一个就在目标旁边但隔着一堵墙的智能体并不算接近目标。
• SPL 很严格：作者预计在复杂的未见环境中 0.5 就是一个不错的水平，并建议用人类受试者针对每个数据集对其进行校准。
• 必须量化并报告智能体此前对测试环境的接触程度；论文列出了三种情形：无事先探索、预先录制的探索，以及智能体限时进行的探索。
• 连续状态空间和 SI 单位（1 个仿真器单位 = 1 m）使仿真器更接近部署条件，并使结果具有可比性。

主要结果

• SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ)：在最优路径上成功率 50% 得 0.5，在两倍于最优长度的路径上成功率 100% 得 0.5，在两倍于最优长度时成功率 50% 得 0.25。
• 默认成功阈值 τ 为智能体身体宽度的两倍；SUNCG 和 Matterport3D 使用的身体宽度为 0.2 m，这也是 Gibson 建议的默认值，此时 τ = 0.4 m。
• SUNCG 场景：500 栋单层房屋，按 300/100/100 划分，共 2,737 个房间、41,158 个物体，地面面积约 110,000 m²；Matterport3D：采用该数据集 61/11/18 的房屋划分，190 个楼层上共 2,206 个房间区域。
• AI2-THOR v1.0：4 种房间类型的 120 个场景，80 个用于训练、20 个用于验证、20 个用于测试，每个测试场景为 PointGoal 和 ObjectGoal 各提供 125 个场景。
• Gibson：572 栋建筑、1,447 个楼层、211,000 m²，并提供 tiny（25/5/5）、medium（100/20/20）和 full（402/85/85）三种划分。
• 场景数量：第 6 节中的一般流程为每个场景生成超过 100 个起点-目标配置，而 Gibson 小节规定每个空间 100 对起点-目标。

局限

• 这是一份工作组的建议报告，而不是一项实验研究：它没有使用机器人（无论仿真还是真实）进行任何实验，其成果是定义、一个指标和标准场景。
• 作者指出，仿真在机器人学中受到怀疑，智能体最终必须在物理世界中工作；用于迁移到真实机器人的工具只是一项建议，论文本身并未提供。
• 工作组拒绝推荐导航智能体应采用任何特定的内部表示，认为现在下结论为时过早。
• AI2-THOR v1.0 不能用于 AreaGoal，因为每个场景只包含一个房间。
• Gibson 的测地距离是在离地固定高度上计算的，并且随智能体类型（如地面车辆与无人机）而不同，因此可能需要针对每种智能体重新计算。

对领域的影响

被引用 1047 次。论文发布了标准导航场景：SUNCG 和 Matterport3D 的场景文件位于 github.com/minosworld/scenarios，Gibson 场景位于 gibson.vision/nav_scenarios。

摘要

在三维环境中熟练地进行移动作业，是人工智能研究的一个主要课题。过去两年里，导航方面涌现了大量富有创意的工作。这些创造性成果产生了大量有时互不兼容的任务定义和评估协议。为了协调这一领域正在进行和未来的研究，我们召集了一个工作组来研究导航研究中的实证方法论。本文总结了该工作组达成共识的建议。我们讨论不同的问题表述以及泛化的作用，提出评估度量，并提供可用于基准测试的标准场景。

链接

• arXiv 1807.06757: https://arxiv.org/abs/1807.06757
• DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
• PDF: https://arxiv.org/pdf/1807.06757v1