On Evaluation of Embodied Navigation Agents

作者: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

授權條款

• 開放取用
• 論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用。

一句話摘要

一份工作小組針對導航研究的建議報告，而非新方法：DONE 動作、測地距離、SPL 指標、採用 SI 單位的連續模擬器，以及在四個資料集上的標準情境。

為何重要

SPL 以單一數字同時獎勵抵達目標與採取有效率的路線，而 DONE 的要求則檢驗代理人是否知道自己已抵達。論文也要求模擬研究說明其感測假設，例如完美的里程計或 GPS，並要求模擬器附帶開源軟體，以便將訓練好的代理人部署到實體機器人上。

問題

3D 環境中的導航研究產生了許多彼此不相容的任務定義、測試平台與評估協定，使結果難以比較。有些協定只要代理人接近目標就算回合成功，用忽略牆壁的歐氏距離衡量遠近，或是在測試環境中訓練，卻不報告代理人接觸了多少。

提出的方法

由導航研究人員組成的工作小組定義了目標類型（PointGoal、ObjectGoal、AreaGoal）、事先接觸測試環境的幾種情形，以及七項建議。主要量度為 SPL：每個成功回合的分數為最短路徑長度除以代理人路徑長度與最短路徑兩者中的較大者，再對所有回合取平均；且只有當代理人在距目標的距離門檻內發出 DONE 動作時，才判定為成功。並為 SUNCG、Matterport3D、AI2-THOR 與 Gibson 定義了標準的訓練、驗證與測試情境。

關鍵見解

• 成功與否應在代理人宣告 DONE 的當下判定，而非回合中某個更有利的較早時刻。
• 應以測地（最短路徑）距離取代歐氏距離，因為一個就在目標旁、但隔著一道牆的代理人並不算接近。
• SPL 相當嚴格：作者預期在複雜且未見過的環境中，0.5 就是不錯的水準，並建議以人類受試者針對每個資料集進行校準。
• 代理人事先對測試環境的接觸程度必須量化並報告；論文列出三種情形：沒有事先探索、預先錄製的探索，以及由代理人進行的限時探索。
• 連續狀態空間與 SI 單位（1 個模擬器單位 = 1 m）讓模擬器更接近部署條件，也讓結果可互相比較。

主要結果

• SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ)：在最佳路徑上成功率 50% 得 0.5，在兩倍最佳長度的路徑上成功率 100% 得 0.5，在兩倍最佳長度時成功率 50% 得 0.25。
• 預設的成功門檻 τ 為代理人身體寬度的兩倍；以 SUNCG 與 Matterport3D 所用、也是 Gibson 建議預設值的 0.2 m 身體寬度計算，τ = 0.4 m。
• SUNCG 情境：500 棟單層房屋，依 300/100/100 劃分，共 2,737 個房間、41,158 個物體，地板面積約 110,000 m²；Matterport3D：採用該資料集 61/11/18 的房屋劃分，190 個樓層共 2,206 個房間區域。
• AI2-THOR v1.0：4 種房間類型的 120 個場景，80 個用於訓練、20 個用於驗證、20 個用於測試，每個測試場景為 PointGoal 與 ObjectGoal 各提供 125 個情境。
• Gibson：572 棟建築、1,447 個樓層、211,000 m²，提供 tiny（25/5/5）、medium（100/20/20）與 full（402/85/85）三種劃分。
• 情境數量：第 6 節的一般程序為每個場景產生超過 100 組起點-目標設定，而 Gibson 小節則規定每個空間 100 組起點-目標配對。

限制

• 這是一份工作小組的建議報告，而非實驗研究：它沒有以機器人（無論模擬或真實）進行任何實驗，其成果是定義、一個指標與標準情境。
• 作者指出，模擬在機器人學中受到質疑，代理人最終必須在實體世界中運作；轉移到真實機器人的工具只是一項建議，論文本身並未提供。
• 工作小組不推薦導航代理人應採用任何特定的內部表示，認為目前言之過早。
• AI2-THOR v1.0 無法用於 AreaGoal，因為每個場景只有單一房間。
• Gibson 的測地距離是在離地固定高度上計算，且隨代理人類型（例如地面載具與無人機）而不同，因此可能需要針對每種代理人重新計算。

對領域的影響

被引用 1047 次。論文公開了標準導航情境：SUNCG 與 Matterport3D 的情境檔案位於 github.com/minosworld/scenarios，Gibson 情境位於 gibson.vision/nav_scenarios。

摘要

在三維環境中熟練地進行移動作業，是人工智慧研究的主要課題之一。過去兩年間，導航方面出現大量富有創意的研究。這些創意成果產生了許多有時彼此不相容的任務定義與評估協定。為了協調此領域現行與未來的研究，我們召集了一個工作小組，研究導航研究中的實證方法論。本文件總結了該工作小組的共識建議。我們討論不同的問題陳述與泛化的角色，提出評估量度，並提供可用於基準測試的標準情境。

連結

• arXiv 1807.06757: https://arxiv.org/abs/1807.06757
• DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
• PDF: https://arxiv.org/pdf/1807.06757v1