On Evaluation of Embodied Navigation Agents

Autoren: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0.

Kurz gesagt

Ein Empfehlungsbericht einer Arbeitsgruppe zur Navigationsforschung, keine neue Methode: eine DONE-Aktion, geodätische Distanz, die SPL-Metrik, kontinuierliche Simulatoren in SI-Einheiten und Standardszenarien auf vier Datensätzen.

Warum es wichtig ist

SPL liefert eine einzige Zahl, die sowohl das Erreichen des Ziels als auch einen effizienten Weg belohnt, und die DONE-Anforderung prüft, ob der Agent weiß, dass er angekommen ist. Das Paper fordert außerdem, dass Simulationsarbeiten ihre Annahmen zur Sensorik angeben, etwa perfekte Odometrie oder GPS, und dass Simulatoren mit Open-Source-Software ausgeliefert werden, um trainierte Agenten auf physischen Robotern einzusetzen.

Problem

Die Navigationsforschung in 3D-Umgebungen hatte viele inkompatible Aufgabendefinitionen, Testumgebungen und Evaluationsprotokolle hervorgebracht, was Ergebnisse schwer vergleichbar macht. Manche Protokolle werteten eine Episode als erfolgreich, sobald der Agent in die Nähe des Ziels kam, maßen die Nähe mit der euklidischen Distanz, die Wände ignoriert, oder trainierten in der Testumgebung, ohne anzugeben, wie stark der Agent ihr ausgesetzt war.

Lösungsansatz

Eine Arbeitsgruppe von Navigationsforschern definiert Zieltypen (PointGoal, ObjectGoal, AreaGoal), Regime vorheriger Exposition gegenüber der Testumgebung und sieben Empfehlungen. Das primäre Maß ist SPL: Jede erfolgreiche Episode erhält als Wert die Länge des kürzesten Wegs geteilt durch das Größere aus der Weglänge des Agenten und dem kürzesten Weg, gemittelt über alle Episoden, und Erfolg wird nur gewertet, wenn der Agent innerhalb eines Distanzschwellwerts vom Ziel eine DONE-Aktion ausgibt. Für SUNCG, Matterport3D, AI2-THOR und Gibson werden Standardszenarien für Training, Validierung und Test definiert.

Wichtigste Erkenntnisse

Der Erfolg sollte in dem Moment beurteilt werden, in dem der Agent DONE meldet, nicht zu einem günstigeren früheren Zeitpunkt der Episode.
Die geodätische Distanz (kürzester Weg) sollte die euklidische Distanz ersetzen, da ein Agent direkt neben dem Ziel, aber hinter einer Wand, nicht nah ist.
SPL ist streng: Die Autoren erwarten 0,5 als gutes Niveau in komplexen ungesehenen Umgebungen und schlagen vor, die Metrik pro Datensatz mit menschlichen Probanden zu kalibrieren.
Vorherige Exposition gegenüber der Testumgebung muss quantifiziert und berichtet werden; das Paper nennt drei Regime: keine vorherige Exploration, vorab aufgezeichnete Exploration und zeitlich begrenzte Exploration durch den Agenten.
Kontinuierliche Zustandsräume und SI-Einheiten (1 Simulatoreinheit = 1 m) bringen Simulatoren näher an Einsatzbedingungen und machen Ergebnisse vergleichbar.

Hauptergebnisse

SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ): 50 % Erfolg auf optimalen Wegen ergibt 0,5, 100 % Erfolg auf Wegen mit doppelter Optimallänge ergibt 0,5, und 50 % Erfolg bei doppelter Optimallänge ergibt 0,25.
Der Standard-Erfolgsschwellwert τ ist die doppelte Körperbreite des Agenten; mit der für SUNCG und Matterport3D verwendeten und für Gibson als Standard vorgeschlagenen Körperbreite von 0,2 m ist τ = 0,4 m.
SUNCG-Szenarien: 500 einstöckige Häuser, aufgeteilt in 300/100/100, mit 2.737 Räumen, 41.158 Objekten und etwa 110.000 m² Bodenfläche; Matterport3D: die Hausaufteilung 61/11/18 des Datensatzes, 2.206 Raumregionen auf 190 Etagen.
AI2-THOR v1.0: 120 Szenen in 4 Raumtypen, 80 für Training, 20 für Validierung und 20 für Test, mit 125 Szenarien pro Testszene für PointGoal und für ObjectGoal.
Gibson: 572 Gebäude, 1.447 Etagen und 211.000 m², mit den Partitionen tiny (25/5/5), medium (100/20/20) und full (402/85/85).
Anzahl der Szenarien: Das allgemeine Verfahren in Abschnitt 6 erzeugt mehr als 100 Start-Ziel-Konfigurationen pro Szene, während der Unterabschnitt zu Gibson 100 Start-Ziel-Paare pro Raum festlegt.

Einschränkungen

Dies ist ein Empfehlungsbericht einer Arbeitsgruppe, keine experimentelle Studie: Es werden keine Experimente mit Robotern durchgeführt, weder simuliert noch real, und die Ergebnisse sind Definitionen, eine Metrik und Standardszenarien.
Die Autoren merken an, dass Simulation in der Robotik mit Skepsis betrachtet wird und Agenten letztlich in der physischen Welt funktionieren müssen; Werkzeuge für den Transfer auf reale Roboter sind eine Empfehlung, nicht etwas, das das Paper bereitstellt.
Die Gruppe lehnt es ab, eine bestimmte interne Repräsentation für Navigationsagenten zu empfehlen, da es dafür zu früh sei.
AI2-THOR v1.0 kann nicht für AreaGoal verwendet werden, da jede Szene aus einem einzigen Raum besteht.
Geodätische Distanzen in Gibson werden in einer festen Höhe über dem Boden berechnet und unterscheiden sich je nach Agententyp, etwa Bodenfahrzeug gegenüber Drohne, sodass sie möglicherweise pro Agent neu berechnet werden müssen.

Wirkung auf das Fachgebiet

1047-mal zitiert. Das Paper veröffentlicht Standardszenarien für die Navigation: Szenariodateien für SUNCG und Matterport3D unter github.com/minosworld/scenarios und Gibson-Szenarien unter gibson.vision/nav_scenarios.

Zusammenfassung

Geschicktes mobiles Agieren in dreidimensionalen Umgebungen ist ein zentrales Forschungsthema der Künstlichen Intelligenz. In den vergangenen zwei Jahren gab es einen Schub kreativer Arbeiten zur Navigation. Dieser kreative Output hat eine Fülle von teils inkompatiblen Aufgabendefinitionen und Evaluationsprotokollen hervorgebracht. Um laufende und zukünftige Forschung auf diesem Gebiet zu koordinieren, haben wir eine Arbeitsgruppe einberufen, die die empirische Methodik der Navigationsforschung untersucht. Das vorliegende Dokument fasst die Konsensempfehlungen dieser Arbeitsgruppe zusammen. Wir diskutieren verschiedene Problemstellungen und die Rolle der Generalisierung, stellen Evaluationsmaße vor und stellen Standardszenarien bereit, die für Benchmarking verwendet werden können.

Open Source Robotics