On Evaluation of Embodied Navigation Agents

Autores: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0.

Em resumo

Um relatório de recomendações de um grupo de trabalho sobre pesquisa em navegação, não um método novo: uma ação DONE, a distância geodésica, a métrica SPL, simuladores contínuos em unidades do SI e cenários padrão em quatro conjuntos de dados.

Por que importa

A SPL fornece um único número que recompensa tanto alcançar o objetivo quanto seguir uma rota eficiente, e a exigência de DONE testa se o agente sabe que chegou. O artigo também pede que trabalhos em simulação declarem suas suposições de sensoriamento, como odometria ou GPS perfeitos, e que os simuladores venham com software de código aberto para implantar os agentes treinados em robôs físicos.

Problema

A pesquisa em navegação em ambientes 3D havia produzido muitas definições de tarefas, ambientes de teste e protocolos de avaliação incompatíveis, o que dificulta comparar resultados. Alguns protocolos contavam um episódio como bem-sucedido assim que o agente chegava perto do objetivo, mediam a proximidade com a distância euclidiana, que ignora paredes, ou treinavam no ambiente de teste sem relatar quanta exposição o agente teve.

Solução proposta

Um grupo de trabalho de pesquisadores em navegação define tipos de objetivo (PointGoal, ObjectGoal, AreaGoal), regimes de exposição prévia ao ambiente de teste e sete recomendações. A medida principal é a SPL: cada episódio bem-sucedido pontua o comprimento do caminho mais curto dividido pelo maior valor entre o comprimento do caminho do agente e o caminho mais curto, com média sobre todos os episódios, e o sucesso só é julgado quando o agente emite uma ação DONE dentro de um limiar de distância do objetivo. Cenários padrão de treinamento, validação e teste são definidos para SUNCG, Matterport3D, AI2-THOR e Gibson.

Principais ideias

O sucesso deve ser julgado no momento em que o agente declara DONE, e não em algum momento anterior mais favorável do episódio.
A distância geodésica (do caminho mais curto) deve substituir a distância euclidiana, já que um agente ao lado do objetivo, mas atrás de uma parede, não está perto.
A SPL é rigorosa: os autores esperam que 0,5 seja um bom nível em ambientes complexos não vistos e sugerem calibrá-la por conjunto de dados com participantes humanos.
A exposição prévia ao ambiente de teste deve ser quantificada e relatada; o artigo nomeia três regimes: sem exploração prévia, exploração pré-gravada e exploração com tempo limitado pelo agente.
Espaços de estados contínuos e unidades SI (1 unidade do simulador = 1 m) aproximam os simuladores das condições de implantação e tornam os resultados comparáveis.

Principais resultados

SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ): 50 % de sucesso em caminhos ótimos dá 0,5, 100 % de sucesso em caminhos com o dobro do ótimo dá 0,5, e 50 % de sucesso com o dobro do ótimo dá 0,25.
O limiar de sucesso τ padrão é o dobro da largura do corpo do agente; com a largura de corpo de 0,2 m usada para SUNCG e Matterport3D, e como padrão sugerido para o Gibson, τ = 0,4 m.
Cenários do SUNCG: 500 casas de um único andar divididas em 300/100/100, com 2737 cômodos, 41.158 objetos e cerca de 110.000 m² de piso; Matterport3D: a divisão de casas 61/11/18 do próprio conjunto de dados, 2206 regiões de cômodos em 190 andares.
AI2-THOR v1.0: 120 cenas em 4 tipos de cômodo, 80 para treinamento, 20 para validação e 20 para teste, com 125 cenários por cena de teste para PointGoal e para ObjectGoal.
Gibson: 572 edifícios, 1447 andares e 211.000 m², com partições tiny (25/5/5), medium (100/20/20) e full (402/85/85).
Número de cenários: o procedimento geral da Seção 6 gera mais de 100 configurações de início e objetivo por cena, enquanto a subseção do Gibson especifica 100 pares de início e objetivo por espaço.

Limitações

Trata-se de um relatório de recomendações de um grupo de trabalho, não de um estudo experimental: não realiza experimentos com robôs, simulados ou reais, e seus resultados são definições, uma métrica e cenários padrão.
Os autores observam que a simulação é vista com ceticismo na robótica e que os agentes acabarão tendo de funcionar no mundo físico; ferramentas de transferência para robôs reais são uma recomendação, não algo que o artigo forneça.
O grupo se abstém de recomendar qualquer representação interna específica para agentes de navegação, considerando que é cedo demais.
O AI2-THOR v1.0 não pode ser usado para AreaGoal porque cada cena consiste em um único cômodo.
As distâncias geodésicas do Gibson são calculadas a uma altura fixa acima do piso e diferem conforme o tipo de agente, como um veículo terrestre ou um drone, por isso podem precisar ser recalculadas para cada agente.

Impacto na área

Citado 1047 vezes. O artigo publica cenários de navegação padrão: arquivos de cenários do SUNCG e do Matterport3D em github.com/minosworld/scenarios e cenários do Gibson em gibson.vision/nav_scenarios.

Resumo

A operação móvel hábil em ambientes tridimensionais é um tema de estudo primordial em Inteligência Artificial. Os últimos dois anos viram uma onda de trabalhos criativos sobre navegação. Essa produção criativa gerou uma infinidade de definições de tarefas e protocolos de avaliação por vezes incompatíveis. Para coordenar a pesquisa atual e futura nessa área, convocamos um grupo de trabalho para estudar a metodologia empírica na pesquisa em navegação. O presente documento resume as recomendações de consenso desse grupo de trabalho. Discutimos diferentes formulações do problema e o papel da generalização, apresentamos medidas de avaliação e fornecemos cenários padrão que podem ser usados para benchmarking.

Open Source Robotics