Success Weighted by Path Length

• Aussi appelé: SPL
• Catégorie: State estimation & navigation › Navigation
• Mots-clés: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation

Une métrique de navigation qui moyenne, sur les épisodes, le succès multiplié par le rapport entre la distance du plus court chemin et la longueur du chemin réellement emprunté par l'agent.

Définition

Le succès pondéré par la longueur du chemin (Success weighted by Path Length, SPL) est une métrique d'évaluation pour les agents de navigation orientés vers un but, proposée par Anderson et ses collègues dans le rapport de 2018 On Evaluation of Embodied Navigation Agents. Elle combine le fait que l'agent a atteint le but et l'efficacité avec laquelle il l'a fait. Pour N épisodes de test, SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ), où Sᵢ vaut 1 si l'épisode i a réussi et 0 sinon, ℓᵢ est la distance du plus court chemin entre le départ et le but, et pᵢ est la longueur du chemin réellement parcouru par l'agent.

La distance du plus court chemin ℓᵢ est la distance géodésique à travers l'espace navigable, calculée sur la carte ou le maillage de navigation de l'environnement, et non la distance en ligne droite à travers les murs. Un agent qui atteint le but par le plus court chemin obtient 1 pour cet épisode, un agent qui l'atteint après avoir parcouru deux fois plus de distance obtient 0,5, et un épisode échoué vaut 0, quelle que soit la distance à laquelle l'agent s'est approché. Le succès lui-même est défini par le benchmark, typiquement le fait de s'arrêter à moins d'une distance fixée du but, et de nombreux benchmarks exigent que l'agent émette une action d'arrêt explicite. La SPL est la métrique principale standard pour la navigation PointGoal et ObjectGoal dans les simulateurs d'IA incarnée comme Habitat, et il en existe des variantes pour les tâches à but objet, où ℓᵢ est la distance à l'instance de but valide la plus proche.

La SPL a des faiblesses connues. Comme un échec vaut zéro, elle est binaire au niveau de l'épisode et peut masquer des agents qui s'approchent régulièrement très près. Elle ne mesure que la longueur du chemin, pas le temps, les collisions, l'énergie ni le nombre de virages. Dans des environnements inédits où un agent doit explorer pour trouver le but, des scores bien inférieurs à 1 sont attendus même pour de bons agents, puisque le plus court chemin suppose une carte dont l'agent ne dispose pas. Des variantes comme SoftSPL, qui remplace le succès binaire par la progression vers le but, et des métriques fondées sur le temps ou les actions ont été proposées pour répondre à certains de ces problèmes.

Pourquoi c'est important

La SPL a donné à la recherche en navigation incarnée une manière commune de comparer des agents, qui récompense à la fois l'atteinte du but et l'absence d'errance, et elle est rapportée dans la plupart des articles sur les benchmarks de navigation simulée. Savoir ce qu'elle mesure, et ce qu'elle ignore, est nécessaire pour lire ces résultats et juger si un score élevé se transposera à un robot réel.

Applications principales

• Évaluation comparative d'agents de navigation PointGoal et ObjectGoal
• Défis d'IA incarnée dans des simulateurs comme Habitat
• Comparaison de piles de navigation apprises et classiques
• Évaluation d'agents de navigation vision-langage
• Suivi des performances de navigation sim-to-real sur des robots physiques

En pratique

Une équipe évalue deux politiques de navigation sur 1 000 épisodes dans des appartements simulés réservés au test. Pour chaque épisode, le simulateur calcule le plus court chemin géodésique du départ au but sur le maillage de navigation, et le script d'évaluation enregistre si l'agent s'est arrêté dans le rayon de succès et la distance qu'il a parcourue. La politique A réussit plus souvent mais fait de longs détours ; la politique B réussit moins souvent mais emprunte des itinéraires presque optimaux quand elle réussit. L'équipe rapporte côte à côte le taux de succès et la SPL, ainsi que le nombre de collisions, car la SPL seule ne montrerait pas qu'une politique heurte les meubles bien plus souvent que l'autre.

Idées reçues

• La SPL utilise la distance en ligne droite jusqu'au but — elle utilise la distance géodésique du plus court chemin à travers l'espace navigable
• La SPL récompense le fait de s'approcher du but — un épisode échoué vaut zéro quelle que soit la proximité à laquelle l'agent s'est arrêté ; SoftSPL a été proposée pour accorder un crédit partiel
• Il faut attendre d'un bon agent une SPL proche de 1 — dans des environnements inconnus, un agent doit explorer, si bien que même de bons agents obtiennent des scores bien inférieurs à l'idéal du plus court chemin
• La SPL rend compte de la qualité globale de la navigation — elle ignore le temps, les collisions, la fluidité et l'énergie, qui doivent généralement être rapportés séparément

Qui devrait le savoir

• Chercheurs en IA incarnée et en navigation
• Ingénieurs qui évaluent des piles de navigation de robots mobiles
• Relecteurs et lecteurs qui comparent des articles sur la navigation
• Concepteurs de simulations et de benchmarks

Technologies associées

• Habitat Simulator
• Maillages de navigation (Navigation Meshes)
• SoftSPL
• Navigation PointGoal (PointGoal Navigation)
• Navigation ObjectGoal (ObjectGoal Navigation)

Termes associés

• Embodied AI
• Obstacle Avoidance
• Topological Map
• Semantic Map
• Frontier-Based Exploration
• Sim2Real

Projets associés

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots