Success Weighted by Path Length
- Detto anche: SPL
- Categoria: State estimation & navigation › Navigation
- Tag: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation
Una metrica di navigazione che media sugli episodi il successo moltiplicato per il rapporto tra la distanza del percorso più breve e la lunghezza del percorso effettivamente compiuto dall'agente.
Definizione
Successo ponderato per la lunghezza del percorso (SPL) (success weighted by path length) è una metrica di valutazione per agenti di navigazione orientata a un obiettivo, proposta da Anderson e colleghi nel rapporto del 2018 On Evaluation of Embodied Navigation Agents. Combina il fatto che l'agente abbia raggiunto l'obiettivo con l'efficienza con cui lo ha fatto. Per N episodi di test, SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ), dove Sᵢ vale 1 se l'episodio i ha avuto successo e 0 altrimenti, ℓᵢ è la distanza del percorso più breve dalla partenza all'obiettivo e pᵢ è la lunghezza del percorso effettivamente compiuto dall'agente.
La distanza del percorso più breve ℓᵢ è la distanza geodetica attraverso lo spazio navigabile, calcolata sulla mappa dell'ambiente o sulla navigation mesh, non la distanza in linea retta attraverso i muri. Un agente che raggiunge l'obiettivo lungo il percorso più breve ottiene 1 per quell'episodio, un agente che lo raggiunge dopo aver percorso il doppio della distanza ottiene 0,5, e un episodio fallito ottiene 0 indipendentemente da quanto l'agente si sia avvicinato. Il successo stesso è definito dal benchmark, tipicamente come fermarsi entro una distanza stabilita dall'obiettivo, e molti benchmark richiedono che l'agente emetta un'azione di stop esplicita. La SPL è la metrica principale standard per la navigazione PointGoal e ObjectGoal nei simulatori di IA incarnata come Habitat, ed esistono varianti per i compiti con obiettivo oggetto, in cui ℓᵢ è la distanza dall'istanza di obiettivo valida più vicina.
La SPL ha debolezze note. Poiché un fallimento vale zero, è binaria a livello di episodio e può nascondere agenti che arrivano sistematicamente molto vicini. Misura solo la lunghezza del percorso, non il tempo, le collisioni, l'energia o il numero di svolte. In ambienti mai visti, dove un agente deve esplorare per trovare l'obiettivo, sono attesi punteggi ben al di sotto di 1 anche per agenti validi, poiché il percorso più breve presuppone una mappa che l'agente non ha. Varianti come SoftSPL, che sostituisce il successo binario con l'avanzamento verso l'obiettivo, e metriche basate sul tempo o sulle azioni sono state proposte per affrontare alcuni di questi problemi.
Perché è importante
La SPL ha dato alla ricerca sulla navigazione incarnata un modo condiviso di confrontare gli agenti che premia sia il raggiungimento dell'obiettivo sia il non vagare, ed è riportata nella maggior parte degli articoli sui benchmark di navigazione simulata. Sapere che cosa misura, e che cosa ignora, è necessario per leggere quei risultati e per giudicare se un punteggio alto si trasferirà a un robot reale.
Applicazioni principali
- Valutazione comparativa di agenti di navigazione PointGoal e ObjectGoal
- Sfide di IA incarnata in simulatori come Habitat
- Confronto tra stack di navigazione appresi e classici
- Valutazione di agenti di navigazione visione-linguaggio
- Monitoraggio delle prestazioni di navigazione sim-to-real su robot fisici
In pratica
Un team valuta due policy di navigazione su 1000 episodi in appartamenti simulati tenuti da parte per il test. Per ogni episodio il simulatore calcola il percorso geodetico più breve dalla partenza all'obiettivo sulla navigation mesh, e lo script di valutazione registra se l'agente si è fermato entro il raggio di successo e quanta strada ha percorso. La policy A ha successo più spesso ma fa lunghe deviazioni; la policy B ha successo meno spesso ma, quando ci riesce, segue percorsi quasi ottimi. Il team riporta tasso di successo e SPL fianco a fianco, più il numero di collisioni, perché la SPL da sola non mostrerebbe che una policy urta i mobili molto più dell'altra.
Idee sbagliate comuni
- La SPL usa la distanza in linea retta dall'obiettivo — usa la distanza geodetica del percorso più breve attraverso lo spazio navigabile
- La SPL premia l'avvicinarsi all'obiettivo — un episodio fallito vale zero per quanto vicino si sia fermato l'agente; SoftSPL è stata proposta per dare un credito parziale
- Da un buon agente ci si deve aspettare una SPL vicina a 1 — in ambienti sconosciuti un agente deve esplorare, quindi anche agenti forti ottengono punteggi ben al di sotto dell'ideale del percorso più breve
- La SPL coglie la qualità complessiva della navigazione — ignora tempo, collisioni, fluidità ed energia, che di solito vanno riportati separatamente
Chi dovrebbe saperlo
- Ricercatori di IA incarnata e navigazione
- Ingegneri che valutano stack di navigazione per robot mobili
- Revisori e lettori che confrontano articoli sulla navigazione
- Progettisti di simulazioni e benchmark
Tecnologie correlate
- Simulatore Habitat (Habitat Simulator)
- Navigation mesh (Navigation Meshes)
- SoftSPL
- Navigazione PointGoal (PointGoal Navigation)
- Navigazione ObjectGoal (ObjectGoal Navigation)
Termini correlati
Progetti correlati
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- RLinf: Scalable infrastructure for post-training foundation models via RL
- Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots