On Evaluation of Embodied Navigation Agents

Autores: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0.

En resumen

Un informe de recomendaciones de un grupo de trabajo sobre la investigación en navegación, no un método nuevo: una acción DONE, la distancia geodésica, la métrica SPL, simuladores continuos en unidades del SI y escenarios estándar sobre cuatro conjuntos de datos.

Por qué importa

SPL da un solo número que premia tanto llegar al objetivo como tomar una ruta eficiente, y el requisito DONE comprueba si el agente sabe que ha llegado. El artículo también pide que el trabajo en simulación declare sus supuestos de percepción, como una odometría o un GPS perfectos, y que los simuladores se distribuyan con software de código abierto para desplegar los agentes entrenados en robots físicos.

Problema

La investigación en navegación en entornos 3D había producido muchas definiciones de tareas, bancos de pruebas y protocolos de evaluación incompatibles, lo que dificulta comparar resultados. Algunos protocolos contaban un episodio como exitoso en cuanto el agente se acercaba al objetivo, medían la cercanía con la distancia euclídea, que ignora las paredes, o entrenaban en el entorno de prueba sin declarar cuánta exposición había tenido el agente.

Solución propuesta

Un grupo de trabajo de investigadores en navegación define tipos de objetivo (PointGoal, ObjectGoal, AreaGoal), regímenes de exposición previa al entorno de prueba y siete recomendaciones. La medida principal es SPL: cada episodio exitoso puntúa la longitud del camino más corto dividida por el mayor valor entre la longitud del camino del agente y el camino más corto, promediado sobre todos los episodios, y el éxito solo se juzga cuando el agente emite una acción DONE dentro de un umbral de distancia del objetivo. Se definen escenarios estándar de entrenamiento, validación y prueba para SUNCG, Matterport3D, AI2-THOR y Gibson.

Ideas clave

• El éxito debe juzgarse en el momento en que el agente declara DONE, no en algún momento anterior más favorable del episodio.
• La distancia geodésica (del camino más corto) debe sustituir a la distancia euclídea, ya que un agente junto al objetivo pero detrás de una pared no está cerca.
• SPL es exigente: los autores esperan que 0,5 sea un buen nivel en entornos complejos no vistos y sugieren calibrarlo por conjunto de datos con sujetos humanos.
• La exposición previa al entorno de prueba debe cuantificarse y declararse; el artículo nombra tres regímenes: sin exploración previa, exploración pregrabada y exploración limitada en el tiempo por parte del agente.
• Los espacios de estado continuos y las unidades SI (1 unidad del simulador = 1 m) acercan los simuladores a las condiciones de despliegue y hacen comparables los resultados.

Resultados principales

• SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ): un 50 % de éxito con caminos óptimos da 0,5, un 100 % de éxito con caminos del doble del óptimo da 0,5, y un 50 % de éxito con el doble del óptimo da 0,25.
• El umbral de éxito τ por defecto es el doble de la anchura del cuerpo del agente; con la anchura de cuerpo de 0,2 m usada para SUNCG y Matterport3D, y como valor por defecto sugerido para Gibson, τ = 0,4 m.
• Escenarios de SUNCG: 500 casas de una sola planta divididas en 300/100/100, con 2737 habitaciones, 41.158 objetos y unos 110.000 m² de suelo; Matterport3D: la división de casas 61/11/18 del propio conjunto de datos, 2206 regiones de habitación en 190 plantas.
• AI2-THOR v1.0: 120 escenas en 4 tipos de habitación, 80 para entrenamiento, 20 para validación y 20 para prueba, con 125 escenarios por escena de prueba para PointGoal y para ObjectGoal.
• Gibson: 572 edificios, 1447 plantas y 211.000 m², con particiones tiny (25/5/5), medium (100/20/20) y full (402/85/85).
• Número de escenarios: el procedimiento general de la Sección 6 genera más de 100 configuraciones de inicio y objetivo por escena, mientras que la subsección de Gibson especifica 100 pares de inicio y objetivo por espacio.

Limitaciones

• Se trata de un informe de recomendaciones de un grupo de trabajo, no de un estudio experimental: no realiza experimentos con robots, ni simulados ni reales, y sus resultados son definiciones, una métrica y escenarios estándar.
• Los autores señalan que en robótica la simulación se mira con escepticismo y que los agentes acabarán teniendo que funcionar en el mundo físico; las herramientas para la transferencia a robots reales son una recomendación, no algo que el artículo proporcione.
• El grupo declina recomendar ninguna representación interna concreta para los agentes de navegación, por considerarlo demasiado pronto.
• AI2-THOR v1.0 no puede usarse para AreaGoal porque cada escena consta de una sola habitación.
• Las distancias geodésicas de Gibson se calculan a una altura fija sobre el suelo y difieren según el tipo de agente, como un vehículo terrestre frente a un dron, por lo que puede ser necesario recalcularlas para cada agente.

Impacto en el campo

Citado 1047 veces. El artículo publica escenarios de navegación estándar: archivos de escenarios de SUNCG y Matterport3D en github.com/minosworld/scenarios y escenarios de Gibson en gibson.vision/nav_scenarios.

Resumen

La operación móvil hábil en entornos tridimensionales es un tema de estudio principal en Inteligencia Artificial. Los últimos dos años han visto un auge del trabajo creativo sobre navegación. Esta producción creativa ha dado lugar a una plétora de definiciones de tareas y protocolos de evaluación a veces incompatibles. Para coordinar la investigación actual y futura en esta área, hemos convocado un grupo de trabajo para estudiar la metodología empírica en la investigación sobre navegación. El presente documento resume las recomendaciones de consenso de este grupo de trabajo. Discutimos distintos planteamientos del problema y el papel de la generalización, presentamos medidas de evaluación y proporcionamos escenarios estándar que pueden utilizarse para benchmarking.

Enlaces

• arXiv 1807.06757: https://arxiv.org/abs/1807.06757
• DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
• PDF: https://arxiv.org/pdf/1807.06757v1