Success Weighted by Path Length
- También llamado: SPL
- Categoría: State estimation & navigation › Navigation
- Etiquetas: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation
Una métrica de navegación que promedia, a lo largo de los episodios, el éxito multiplicado por la razón entre la distancia del camino más corto y la longitud del camino que el agente recorrió realmente.
Definición
Éxito ponderado por la longitud del camino (SPL) (success weighted by path length) es una métrica de evaluación para agentes de navegación dirigida a un objetivo, propuesta por Anderson y sus colegas en el informe de 2018 On Evaluation of Embodied Navigation Agents. Combina si el agente alcanzó el objetivo con la eficiencia con que lo hizo. Para N episodios de prueba, SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ), donde Sᵢ es 1 si el episodio i tuvo éxito y 0 en caso contrario, ℓᵢ es la distancia del camino más corto desde el inicio hasta el objetivo y pᵢ es la longitud del camino que el agente recorrió realmente.
La distancia del camino más corto ℓᵢ es la distancia geodésica a través del espacio navegable, calculada sobre el mapa del entorno o sobre la malla de navegación, no la distancia en línea recta a través de las paredes. Un agente que alcanza el objetivo por el camino más corto obtiene 1 en ese episodio, un agente que lo alcanza tras recorrer el doble de distancia obtiene 0,5, y un episodio fallido obtiene 0 por mucho que el agente se acercara. El propio éxito lo define el benchmark, normalmente como detenerse dentro de una distancia fijada del objetivo, y muchos benchmarks exigen que el agente emita una acción de parada explícita. La SPL es la métrica principal estándar para la navegación PointGoal y ObjectGoal en simuladores de IA encarnada como Habitat, y existen variantes para tareas con objetivo de objeto, en las que ℓᵢ es la distancia a la instancia de objetivo válida más cercana.
La SPL tiene debilidades conocidas. Como un fallo puntúa cero, es binaria a nivel de episodio y puede ocultar agentes que se quedan sistemáticamente muy cerca. Solo mide la longitud del camino, no el tiempo, las colisiones, la energía ni el número de giros. En entornos no vistos, donde un agente debe explorar para encontrar el objetivo, se esperan puntuaciones muy por debajo de 1 incluso para buenos agentes, ya que el camino más corto supone un mapa que el agente no tiene. Para abordar algunos de estos problemas se propusieron variantes como SoftSPL, que sustituye el éxito binario por el progreso hacia el objetivo, y métricas basadas en el tiempo o en las acciones.
Por qué importa
La SPL dio a la investigación en navegación encarnada una forma común de comparar agentes que premia tanto alcanzar el objetivo como no deambular, y se informa en la mayoría de los artículos sobre benchmarks de navegación simulada. Saber qué mide, y qué ignora, es necesario para leer esos resultados y para juzgar si una puntuación alta se trasladará a un robot real.
Aplicaciones clave
- Evaluación comparativa de agentes de navegación PointGoal y ObjectGoal
- Retos de IA encarnada en simuladores como Habitat
- Comparación de pilas de navegación aprendidas y clásicas
- Evaluación de agentes de navegación visión-lenguaje
- Seguimiento del rendimiento de navegación sim-to-real en robots físicos
En la práctica
Un equipo evalúa dos políticas de navegación en 1000 episodios en apartamentos simulados reservados para la prueba. Para cada episodio, el simulador calcula el camino geodésico más corto del inicio al objetivo sobre la malla de navegación, y el script de evaluación registra si el agente se detuvo dentro del radio de éxito y cuánta distancia recorrió. La política A tiene éxito más a menudo pero da largos rodeos; la política B tiene éxito con menos frecuencia, pero cuando lo tiene sigue rutas casi óptimas. El equipo informa la tasa de éxito y la SPL una junto a otra, más el número de colisiones, porque la SPL por sí sola no mostraría que una política choca con los muebles mucho más que la otra.
Ideas erróneas comunes
- La SPL usa la distancia en línea recta al objetivo — usa la distancia geodésica del camino más corto a través del espacio navegable
- La SPL premia acercarse al objetivo — un episodio fallido puntúa cero por cerca que se haya detenido el agente; SoftSPL se propuso para dar un crédito parcial
- De un buen agente cabe esperar una SPL cercana a 1 — en entornos desconocidos un agente debe explorar, así que incluso los agentes fuertes puntúan muy por debajo del ideal del camino más corto
- La SPL refleja la calidad global de la navegación — ignora el tiempo, las colisiones, la suavidad y la energía, que normalmente deben informarse por separado
Quién debería saberlo
- Investigadores de IA encarnada y navegación
- Ingenieros que evalúan pilas de navegación de robots móviles
- Revisores y lectores que comparan artículos de navegación
- Diseñadores de simulaciones y benchmarks
Tecnologías relacionadas
- Simulador Habitat (Habitat Simulator)
- Mallas de navegación (Navigation Meshes)
- SoftSPL
- Navegación PointGoal (PointGoal Navigation)
- Navegación ObjectGoal (ObjectGoal Navigation)
Términos relacionados
Proyectos relacionados
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- RLinf: Scalable infrastructure for post-training foundation models via RL
- Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots