Success Weighted by Path Length

• 又稱: SPL
• 類別: State estimation & navigation › Navigation
• 標籤: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation

一種導航指標：將成功乘以最短路徑距離與代理人實際行經路徑長度之比，再於各回合上取平均。

定義

路徑長度加權成功率（success weighted by path length，SPL）是一種用於目標導向導航代理人的評估指標，由 Anderson 等人在 2018 年的報告 On Evaluation of Embodied Navigation Agents 中提出。它將代理人是否抵達目標，與抵達得有多有效率結合在一起。對於 N 個測試回合，SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ)，其中若第 i 個回合成功則 Sᵢ 為 1，否則為 0；ℓᵢ 是從起點到目標的最短路徑距離；pᵢ 是代理人實際行經的路徑長度。

最短路徑距離 ℓᵢ 是穿過可通行空間的測地距離，在環境的地圖或導航網格上計算，而不是穿牆而過的直線距離。沿最短路徑抵達目標的代理人在該回合得 1 分，走了兩倍距離才抵達的代理人得 0.5 分，而失敗的回合不論代理人離目標多近都得 0 分。成功本身由基準測試定義，通常是在距離目標一定範圍內停下，許多基準測試還要求代理人發出明確的停止動作。SPL 是 Habitat 等具身 AI 模擬器中 PointGoal 與 ObjectGoal 導航的標準主要指標，也有針對物體目標任務的變體，其中 ℓᵢ 是到最近有效目標實例的距離。

SPL 有已知的弱點。由於失敗計為零分，它在回合層級上是二元的，可能掩蓋那些總是非常接近目標的代理人。它只衡量路徑長度，不衡量時間、碰撞、能耗或轉彎次數。在代理人必須探索才能找到目標的未見過環境中，即使是好的代理人，分數也會遠低於 1，這是可預期的，因為最短路徑假設了一張代理人並沒有的地圖。為了處理其中部分問題，有人提出了 SoftSPL 等變體（以朝目標的進展取代二元的成功），以及以時間或動作為基礎的指標。

為何重要

SPL 為具身導航研究提供了共同的代理人比較方式，同時獎勵抵達目標與不繞路，大多數以模擬導航基準測試為題的論文都會報告它。了解它衡量什麼、忽略什麼，才能讀懂這些結果，並判斷高分是否能延續到真實機器人上。

主要應用

• 對 PointGoal 與 ObjectGoal 導航代理人進行基準測試
• 在 Habitat 等模擬器中舉辦的具身 AI 挑戰賽
• 比較學習式與傳統導航架構
• 評估視覺語言導航代理人
• 在實體機器人上追蹤從模擬到現實的導航表現

實際應用

一支團隊在保留未用的模擬公寓中，以 1,000 個回合評估兩個導航策略。每個回合，模擬器在導航網格上計算從起點到目標的測地最短路徑，評估腳本則記錄代理人是否在成功半徑內停下，以及走了多遠。策略 A 成功的次數較多，但會繞遠路；策略 B 成功的次數較少，但成功時走的幾乎是最佳路線。團隊將成功率與 SPL 並列報告，並附上碰撞次數，因為單看 SPL 無法看出其中一個策略比另一個更常撞到家具。

常見誤解

• SPL 使用到目標的直線距離 — 它使用穿過可通行空間的測地最短路徑距離
• SPL 會獎勵接近目標 — 失敗的回合不論代理人停在離目標多近的地方都是零分；SoftSPL 正是為了給予部分分數而提出
• 好的代理人應該拿到接近 1 的 SPL — 在未知環境中代理人必須探索，因此即使是很強的代理人，分數也遠低於最短路徑的理想值
• SPL 反映整體導航品質 — 它忽略時間、碰撞、平順度與能耗，這些通常需要另外報告

誰需要了解

• 具身 AI 與導航研究人員
• 對移動機器人導航架構進行基準測試的工程師
• 比較導航論文的審稿人與讀者
• 模擬與基準測試的設計者

相關技術

• Habitat Simulator
• 導航網格（Navigation Meshes）
• SoftSPL
• PointGoal 導航（PointGoal Navigation）
• ObjectGoal 導航（ObjectGoal Navigation）

相關術語

• Embodied AI
• Obstacle Avoidance
• Topological Map
• Semantic Map
• Frontier-Based Exploration
• Sim2Real

相關專案

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots