Success Weighted by Path Length

• Também chamado: SPL
• Categoria: State estimation & navigation › Navigation
• Tags: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation

Uma métrica de navegação que faz a média, ao longo dos episódios, do sucesso multiplicado pela razão entre a distância do caminho mais curto e o comprimento do caminho que o agente realmente percorreu.

Definição

Sucesso ponderado pelo comprimento do caminho (SPL) (success weighted by path length) é uma métrica de avaliação para agentes de navegação orientada a objetivo, proposta por Anderson e colegas no relatório de 2018 On Evaluation of Embodied Navigation Agents. Ela combina se o agente alcançou o objetivo com a eficiência com que o fez. Para N episódios de teste, SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ), em que Sᵢ é 1 se o episódio i teve sucesso e 0 caso contrário, ℓᵢ é a distância do caminho mais curto do início até o objetivo e pᵢ é o comprimento do caminho que o agente realmente percorreu.

A distância do caminho mais curto ℓᵢ é a distância geodésica através do espaço navegável, calculada sobre o mapa do ambiente ou sobre a malha de navegação, não a distância em linha reta atravessando paredes. Um agente que alcança o objetivo pelo caminho mais curto pontua 1 naquele episódio, um agente que o alcança depois de percorrer o dobro da distância pontua 0,5, e um episódio com falha pontua 0, por mais perto que o agente tenha chegado. O próprio sucesso é definido pelo benchmark, normalmente como parar dentro de uma distância definida do objetivo, e muitos benchmarks exigem que o agente emita uma ação de parada explícita. A SPL é a métrica principal padrão para navegação PointGoal e ObjectGoal em simuladores de IA incorporada como o Habitat, e existem variantes para tarefas com objetivo de objeto, em que ℓᵢ é a distância até a instância de objetivo válida mais próxima.

A SPL tem fraquezas conhecidas. Como a falha pontua zero, ela é binária no nível do episódio e pode esconder agentes que chegam consistentemente muito perto. Ela mede apenas o comprimento do caminho, não o tempo, as colisões, a energia ou o número de curvas. Em ambientes não vistos, onde um agente precisa explorar para encontrar o objetivo, são esperadas pontuações bem abaixo de 1 mesmo para bons agentes, já que o caminho mais curto pressupõe um mapa que o agente não tem. Variantes como a SoftSPL, que substitui o sucesso binário pelo progresso em direção ao objetivo, e métricas baseadas em tempo ou em ações foram propostas para tratar alguns desses problemas.

Por que importa

A SPL deu à pesquisa em navegação incorporada uma forma comum de comparar agentes que recompensa tanto alcançar o objetivo quanto não ficar vagando, e ela é relatada na maioria dos artigos sobre benchmarks de navegação simulada. Saber o que ela mede, e o que ignora, é necessário para ler esses resultados e para julgar se uma pontuação alta vai se manter em um robô real.

Principais aplicações

• Avaliação comparativa de agentes de navegação PointGoal e ObjectGoal
• Desafios de IA incorporada em simuladores como o Habitat
• Comparação de pilhas de navegação aprendidas e clássicas
• Avaliação de agentes de navegação visão-linguagem
• Acompanhamento do desempenho de navegação sim-to-real em robôs físicos

Na prática

Uma equipe avalia duas políticas de navegação em 1.000 episódios em apartamentos simulados reservados para teste. Para cada episódio, o simulador calcula o caminho geodésico mais curto do início ao objetivo sobre a malha de navegação, e o script de avaliação registra se o agente parou dentro do raio de sucesso e quanto ele percorreu. A política A tem sucesso com mais frequência, mas faz longos desvios; a política B tem sucesso com menos frequência, mas segue rotas quase ótimas quando consegue. A equipe relata a taxa de sucesso e a SPL lado a lado, além da contagem de colisões, porque a SPL sozinha não mostraria que uma política esbarra nos móveis muito mais do que a outra.

Equívocos comuns

• A SPL usa a distância em linha reta até o objetivo — ela usa a distância geodésica do caminho mais curto através do espaço navegável
• A SPL recompensa chegar perto do objetivo — um episódio com falha pontua zero por mais perto que o agente tenha parado; a SoftSPL foi proposta para dar crédito parcial
• Deve-se esperar uma SPL perto de 1 de um bom agente — em ambientes desconhecidos um agente precisa explorar, então mesmo agentes fortes pontuam bem abaixo do ideal do caminho mais curto
• A SPL captura a qualidade geral da navegação — ela ignora tempo, colisões, suavidade e energia, que normalmente precisam ser relatados separadamente

Quem deve saber

• Pesquisadores de IA incorporada e navegação
• Engenheiros que avaliam pilhas de navegação de robôs móveis
• Revisores e leitores que comparam artigos de navegação
• Projetistas de simulações e benchmarks

Tecnologias relacionadas

• Simulador Habitat (Habitat Simulator)
• Malhas de navegação (Navigation Meshes)
• SoftSPL
• Navegação PointGoal (PointGoal Navigation)
• Navegação ObjectGoal (ObjectGoal Navigation)

Termos relacionados

• Embodied AI
• Obstacle Avoidance
• Topological Map
• Semantic Map
• Frontier-Based Exploration
• Sim2Real

Projetos relacionados

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots