On Evaluation of Embodied Navigation Agents

Auteurs: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0.

En bref

Un rapport de recommandations d’un groupe de travail sur la recherche en navigation, et non une nouvelle méthode : une action DONE, la distance géodésique, la métrique SPL, des simulateurs continus en unités SI et des scénarios standard sur quatre jeux de données.

Pourquoi c'est important

SPL donne un seul nombre qui récompense à la fois l'atteinte de l'objectif et un itinéraire efficace, et l'exigence DONE teste si l'agent sait qu'il est arrivé. L'article demande aussi que les travaux en simulation précisent leurs hypothèses de perception, comme une odométrie ou un GPS parfaits, et que les simulateurs soient livrés avec un logiciel open source permettant de déployer les agents entraînés sur des robots physiques.

Problème

La recherche en navigation dans des environnements 3D avait produit de nombreuses définitions de tâches, plateformes d'essai et protocoles d'évaluation incompatibles, ce qui rend les résultats difficiles à comparer. Certains protocoles considéraient un épisode comme réussi dès que l'agent s'approchait de l'objectif, mesuraient la proximité avec la distance euclidienne qui ignore les murs, ou entraînaient dans l'environnement de test sans indiquer à quel point l'agent y avait été exposé.

Solution proposée

Un groupe de travail de chercheurs en navigation définit des types d'objectifs (PointGoal, ObjectGoal, AreaGoal), des régimes d'exposition préalable à l'environnement de test et sept recommandations. La mesure principale est SPL : chaque épisode réussi obtient pour score la longueur du plus court chemin divisée par le maximum entre la longueur du chemin de l'agent et le plus court chemin, moyennée sur tous les épisodes, et la réussite n'est jugée que lorsque l'agent émet une action DONE à moins d'un seuil de distance de l'objectif. Des scénarios standard d'entraînement, de validation et de test sont définis pour SUNCG, Matterport3D, AI2-THOR et Gibson.

Idées clés

• La réussite doit être jugée au moment où l'agent déclare DONE, et non à un moment antérieur plus favorable de l'épisode.
• La distance géodésique (plus court chemin) devrait remplacer la distance euclidienne, car un agent juste à côté de l'objectif mais derrière un mur n'en est pas proche.
• SPL est exigeant : les auteurs s'attendent à ce que 0,5 soit un bon niveau dans des environnements complexes jamais vus et suggèrent de l'étalonner par jeu de données avec des sujets humains.
• L'exposition préalable à l'environnement de test doit être quantifiée et rapportée ; l'article nomme trois régimes : aucune exploration préalable, exploration préenregistrée, et exploration limitée dans le temps par l'agent.
• Des espaces d'état continus et des unités SI (1 unité du simulateur = 1 m) rapprochent les simulateurs des conditions de déploiement et rendent les résultats comparables.

Principaux résultats

• SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ) : 50 % de réussite sur des chemins optimaux donne 0,5, 100 % de réussite sur des chemins deux fois plus longs que l'optimum donne 0,5, et 50 % de réussite à deux fois l'optimum donne 0,25.
• Le seuil de réussite par défaut τ vaut deux fois la largeur du corps de l'agent ; avec la largeur de corps de 0,2 m utilisée pour SUNCG et Matterport3D, et suggérée par défaut pour Gibson, τ = 0,4 m.
• Scénarios SUNCG : 500 maisons de plain-pied réparties en 300/100/100, avec 2 737 pièces, 41 158 objets et environ 110 000 m² de surface au sol ; Matterport3D : la répartition 61/11/18 des maisons du jeu de données, 2 206 régions de pièces sur 190 étages.
• AI2-THOR v1.0 : 120 scènes dans 4 types de pièces, 80 pour l'entraînement, 20 pour la validation et 20 pour le test, avec 125 scénarios par scène de test pour PointGoal et pour ObjectGoal.
• Gibson : 572 bâtiments, 1 447 étages et 211 000 m², avec les partitions tiny (25/5/5), medium (100/20/20) et full (402/85/85).
• Nombre de scénarios : la procédure générale de la section 6 génère plus de 100 configurations départ-objectif par scène, tandis que la sous-section sur Gibson prévoit 100 paires départ-objectif par espace.

Limites

• Il s'agit d'un rapport de recommandations d'un groupe de travail, et non d'une étude expérimentale : il ne mène aucune expérience avec des robots, simulés ou réels, et ses résultats sont des définitions, une métrique et des scénarios standard.
• Les auteurs notent que la simulation est regardée avec scepticisme en robotique et que les agents doivent finalement fonctionner dans le monde physique ; les outils de transfert vers des robots réels sont une recommandation, pas quelque chose que l'article fournit.
• Le groupe refuse de recommander une représentation interne particulière pour les agents de navigation, jugeant qu'il est trop tôt.
• AI2-THOR v1.0 ne peut pas être utilisé pour AreaGoal car chaque scène se compose d'une seule pièce.
• Les distances géodésiques de Gibson sont calculées à une hauteur fixe au-dessus du sol et diffèrent selon le type d'agent, par exemple un véhicule terrestre ou un drone, de sorte qu'il peut être nécessaire de les recalculer pour chaque agent.

Impact sur le domaine

Cité 1047 fois. L'article publie des scénarios de navigation standard : les fichiers de scénarios SUNCG et Matterport3D sur github.com/minosworld/scenarios et les scénarios Gibson sur gibson.vision/nav_scenarios.

Résumé

L'action mobile habile dans des environnements tridimensionnels est un sujet d'étude majeur en intelligence artificielle. Les deux dernières années ont vu un essor de travaux créatifs sur la navigation. Cette production créative a engendré une pléthore de définitions de tâches et de protocoles d'évaluation parfois incompatibles. Afin de coordonner les recherches en cours et futures dans ce domaine, nous avons réuni un groupe de travail chargé d'étudier la méthodologie empirique de la recherche en navigation. Le présent document résume les recommandations consensuelles de ce groupe de travail. Nous discutons différentes formulations du problème et le rôle de la généralisation, présentons des mesures d'évaluation et fournissons des scénarios standard utilisables pour l'étalonnage comparatif.

Liens

• arXiv 1807.06757: https://arxiv.org/abs/1807.06757
• DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
• PDF: https://arxiv.org/pdf/1807.06757v1