On Evaluation of Embodied Navigation Agents

Autori: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

Licenze

Open access
Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.

In breve

Un rapporto di raccomandazioni di un gruppo di lavoro sulla ricerca nella navigazione, non un nuovo metodo: un’azione DONE, la distanza geodetica, la metrica SPL, simulatori continui in unità SI e scenari standard su quattro dataset.

Perché è importante

La SPL fornisce un solo numero che premia sia il raggiungimento dell'obiettivo sia un percorso efficiente, e il requisito DONE verifica se l'agente sa di essere arrivato. L'articolo chiede inoltre che il lavoro in simulazione dichiari le proprie ipotesi di percezione, come un'odometria o un GPS perfetti, e che i simulatori siano distribuiti con software open source per impiegare gli agenti addestrati su robot fisici.

Problema

La ricerca sulla navigazione in ambienti 3D aveva prodotto molte definizioni di compiti, banchi di prova e protocolli di valutazione incompatibili, il che rende difficile confrontare i risultati. Alcuni protocolli consideravano riuscito un episodio non appena l'agente si avvicinava all'obiettivo, misuravano la vicinanza con la distanza euclidea, che ignora i muri, oppure addestravano nell'ambiente di test senza dichiarare quanta esposizione avesse avuto l'agente.

Soluzione proposta

Un gruppo di lavoro di ricercatori sulla navigazione definisce tipi di obiettivo (PointGoal, ObjectGoal, AreaGoal), regimi di esposizione preliminare all'ambiente di test e sette raccomandazioni. La misura principale è la SPL: ogni episodio riuscito ottiene la lunghezza del percorso più breve divisa per il maggiore tra la lunghezza del percorso dell'agente e il percorso più breve, in media su tutti gli episodi, e il successo è giudicato solo quando l'agente emette un'azione DONE entro una soglia di distanza dall'obiettivo. Sono definiti scenari standard di addestramento, validazione e test per SUNCG, Matterport3D, AI2-THOR e Gibson.

Idee chiave

Il successo va giudicato nel momento in cui l'agente dichiara DONE, non in qualche momento precedente più favorevole dell'episodio.
La distanza geodetica (del percorso più breve) dovrebbe sostituire la distanza euclidea, poiché un agente accanto all'obiettivo ma dietro un muro non è vicino.
La SPL è severa: gli autori si aspettano che 0,5 sia un buon livello in ambienti complessi mai visti e suggeriscono di calibrarla per dataset con soggetti umani.
L'esposizione preliminare all'ambiente di test va quantificata e dichiarata; l'articolo indica tre regimi: nessuna esplorazione preliminare, esplorazione preregistrata ed esplorazione a tempo limitato da parte dell'agente.
Spazi degli stati continui e unità SI (1 unità del simulatore = 1 m) avvicinano i simulatori alle condizioni di impiego e rendono confrontabili i risultati.

Risultati principali

SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ): il 50 % di successo su percorsi ottimali dà 0,5, il 100 % di successo su percorsi lunghi il doppio dell'ottimo dà 0,5, e il 50 % di successo al doppio dell'ottimo dà 0,25.
La soglia di successo τ predefinita è il doppio della larghezza del corpo dell'agente; con la larghezza del corpo di 0,2 m usata per SUNCG e Matterport3D, e come valore predefinito suggerito per Gibson, τ = 0,4 m.
Scenari SUNCG: 500 case a un solo piano suddivise in 300/100/100, con 2737 stanze, 41.158 oggetti e circa 110.000 m² di pavimento; Matterport3D: la suddivisione delle case 61/11/18 del dataset stesso, 2206 regioni di stanza su 190 piani.
AI2-THOR v1.0: 120 scene in 4 tipi di stanza, 80 per l'addestramento, 20 per la validazione e 20 per il test, con 125 scenari per scena di test per PointGoal e per ObjectGoal.
Gibson: 572 edifici, 1447 piani e 211.000 m², con partizioni tiny (25/5/5), medium (100/20/20) e full (402/85/85).
Numero di scenari: la procedura generale della Sezione 6 genera più di 100 configurazioni di partenza e obiettivo per scena, mentre la sottosezione su Gibson specifica 100 coppie di partenza e obiettivo per spazio.

Limiti

Si tratta di un rapporto di raccomandazioni di un gruppo di lavoro, non di uno studio sperimentale: non esegue esperimenti con robot, simulati o reali, e i suoi risultati sono definizioni, una metrica e scenari standard.
Gli autori notano che in robotica la simulazione è vista con scetticismo e che gli agenti dovranno alla fine funzionare nel mondo fisico; gli strumenti per il trasferimento su robot reali sono una raccomandazione, non qualcosa che l'articolo fornisce.
Il gruppo si astiene dal raccomandare una particolare rappresentazione interna per gli agenti di navigazione, ritenendolo prematuro.
AI2-THOR v1.0 non può essere usato per AreaGoal perché ogni scena è costituita da una sola stanza.
Le distanze geodetiche di Gibson sono calcolate a un'altezza fissa dal pavimento e variano in base al tipo di agente, come un veicolo terrestre rispetto a un drone, quindi potrebbe essere necessario ricalcolarle per ogni agente.

Impatto sul settore

Citato 1047 volte. L'articolo pubblica scenari di navigazione standard: file di scenari di SUNCG e Matterport3D su github.com/minosworld/scenarios e scenari di Gibson su gibson.vision/nav_scenarios.

Abstract

L'operatività mobile abile in ambienti tridimensionali è un tema di studio primario nell'Intelligenza Artificiale. Gli ultimi due anni hanno visto un'ondata di lavoro creativo sulla navigazione. Questa produzione creativa ha generato una pletora di definizioni di compiti e protocolli di valutazione talvolta incompatibili. Per coordinare la ricerca attuale e futura in quest'area, abbiamo convocato un gruppo di lavoro per studiare la metodologia empirica nella ricerca sulla navigazione. Il presente documento riassume le raccomandazioni di consenso di questo gruppo di lavoro. Discutiamo diverse formulazioni del problema e il ruolo della generalizzazione, presentiamo misure di valutazione e forniamo scenari standard che possono essere usati per il benchmarking.

Link

arXiv 1807.06757: https://arxiv.org/abs/1807.06757
DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
PDF: https://arxiv.org/pdf/1807.06757v1