Success Weighted by Path Length

• 別名: SPL
• カテゴリ: State estimation & navigation › Navigation
• タグ: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation

成功に、最短経路距離とエージェントが実際にたどった経路の長さとの比を掛けたものを、エピソード全体で平均するナビゲーション指標。

定義

経路長で重み付けした成功率（success weighted by path length、SPL）は、ゴール指向のナビゲーションエージェントの評価指標であり、Anderson らが 2018 年のレポート On Evaluation of Embodied Navigation Agents で提案した。エージェントがゴールに到達したかどうかと、どれだけ効率よく到達したかを組み合わせる。N 個のテストエピソードについて SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ) であり、Sᵢ はエピソード i が成功なら 1、そうでなければ 0、ℓᵢ はスタートからゴールまでの最短経路距離、pᵢ はエージェントが実際に移動した経路の長さである。

最短経路距離 ℓᵢ は、環境の地図やナビゲーションメッシュ上で計算される、移動可能な空間を通る測地距離であり、壁を突き抜ける直線距離ではない。最短経路に沿ってゴールに到達したエージェントはそのエピソードで 1、2 倍の距離を移動して到達したエージェントは 0.5 を得点し、失敗したエピソードは、エージェントがどれだけ近づいたかに関わらず 0 となる。成功そのものはベンチマークが定義し、通常はゴールから一定距離以内で停止することであり、多くのベンチマークではエージェントが明示的な停止行動を出すことが求められる。SPL は Habitat などの身体性 AI シミュレーターにおける PointGoal ナビゲーションと ObjectGoal ナビゲーションの標準的な主要指標であり、物体をゴールとするタスク向けの変種もある。その場合 ℓᵢ は、最も近い有効なゴールインスタンスまでの距離である。

SPL には既知の弱点がある。失敗は 0 点になるため、エピソード単位では二値的であり、常にゴールのすぐ近くまで到達するエージェントを見えなくしてしまうことがある。測るのは経路長だけで、時間、衝突、エネルギー、旋回回数は測らない。ゴールを見つけるために探索しなければならない未知の環境では、最短経路はエージェントが持っていない地図を前提とするため、優れたエージェントでもスコアが 1 を大きく下回るのは当然である。こうした問題の一部に対処するため、二値の成功をゴールへの進捗に置き換えた SoftSPL などの変種や、時間や行動数に基づく指標が提案されている。

重要な理由

SPL は、ゴールへの到達と寄り道をしないことの両方を評価する、エージェント比較の共通の方法を身体性ナビゲーション研究にもたらし、シミュレーションのナビゲーションベンチマークを扱う論文の大半で報告されている。それが何を測り、何を無視するかを知っておくことは、そうした結果を読み、高いスコアが実機ロボットでも通用するかを判断するために必要である。

主な用途

• PointGoal と ObjectGoal のナビゲーションエージェントのベンチマーク
• Habitat などのシミュレーターを使った身体性 AI のチャレンジ
• 学習ベースと古典的なナビゲーションスタックの比較
• 視覚言語ナビゲーションエージェントの評価
• 実機ロボットでのシミュレーションから実環境へのナビゲーション性能の追跡

実際の使われ方

あるチームが、評価用に取り分けておいたシミュレーション上のアパートで、2 つのナビゲーションポリシーを 1,000 エピソードにわたって評価する。各エピソードについて、シミュレーターはナビゲーションメッシュ上でスタートからゴールまでの測地的な最短経路を計算し、評価スクリプトはエージェントが成功半径内で停止したかどうかと、どれだけ移動したかを記録する。ポリシー A はより頻繁に成功するが大きく遠回りし、ポリシー B は成功の頻度は低いものの、成功したときはほぼ最適な経路をとる。チームは成功率と SPL を並べて報告し、衝突回数も加える。SPL だけでは、一方のポリシーがもう一方よりはるかに頻繁に家具にぶつかることがわからないからである。

よくある誤解

• SPL はゴールまでの直線距離を使う — 移動可能な空間を通る測地的な最短経路距離を使う
• SPL はゴールに近づいたことを評価する — 失敗したエピソードは、エージェントがどれだけ近くで止まっても 0 点であり、部分点を与えるために SoftSPL が提案された
• 優れたエージェントなら SPL は 1 に近くなるはずである — 未知の環境ではエージェントは探索しなければならないため、強力なエージェントでも最短経路の理想値を大きく下回る
• SPL はナビゲーションの総合的な品質を表す — 時間、衝突、滑らかさ、エネルギーは無視されるため、通常は別途報告する必要がある

知っておくべき人

• 身体性 AI とナビゲーションの研究者
• 移動ロボットのナビゲーションスタックをベンチマークするエンジニア
• ナビゲーション論文を比較する査読者と読者
• シミュレーションとベンチマークの設計者

関連技術

• Habitat Simulator
• ナビゲーションメッシュ（Navigation Meshes）
• SoftSPL
• PointGoal ナビゲーション（PointGoal Navigation）
• ObjectGoal ナビゲーション（ObjectGoal Navigation）

関連用語

• Embodied AI
• Obstacle Avoidance
• Topological Map
• Semantic Map
• Frontier-Based Exploration
• Sim2Real

関連プロジェクト

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots