Success Weighted by Path Length
- 다른 이름: SPL
- 카테고리: State estimation & navigation › Navigation
- 태그: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation
에피소드별로, 성공에 실제로 이동한 경로 길이 대비 최단 경로 거리의 비율을 곱한 값을 평균하는 내비게이션 척도.
정의
경로 길이 가중 성공률(Success weighted by Path Length, SPL)은 목표 지향 내비게이션 에이전트를 위한 평가 척도로, Anderson과 동료들이 2018년 보고서 On Evaluation of Embodied Navigation Agents에서 제안했다. 에이전트가 목표에 도달했는지와 얼마나 효율적으로 도달했는지를 결합한다. N개의 시험 에피소드에 대해 SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ)이며, 여기서 Sᵢ는 에피소드 i가 성공하면 1, 아니면 0이고, ℓᵢ는 시작점에서 목표까지의 최단 경로 거리, pᵢ는 에이전트가 실제로 이동한 경로의 길이이다.
최단 경로 거리 ℓᵢ는 환경의 지도나 내비게이션 메시에서 계산한, 이동 가능한 공간을 지나는 측지 거리이며, 벽을 관통하는 직선 거리가 아니다. 최단 경로를 따라 목표에 도달한 에이전트는 그 에피소드에서 1점을 받고, 두 배 먼 거리를 이동한 뒤 도달한 에이전트는 0.5점을 받으며, 실패한 에피소드는 에이전트가 얼마나 가까이 갔든 0점이다. 성공 자체는 벤치마크가 정의하는데, 보통 목표로부터 정해진 거리 안에서 멈추는 것이며, 많은 벤치마크는 에이전트가 명시적인 정지 행동을 내도록 요구한다. SPL은 Habitat 같은 체화 AI 시뮬레이터에서 PointGoal 및 ObjectGoal 내비게이션의 표준 대표 척도이며, ℓᵢ를 가장 가까운 유효한 목표 인스턴스까지의 거리로 하는 객체 목표 과제용 변형도 있다.
SPL에는 알려진 약점이 있다. 실패가 0점이므로 에피소드 수준에서 이진적이며, 일관되게 아주 가까이까지 가는 에이전트를 가려 버릴 수 있다. 경로 길이만 측정하고 시간, 충돌, 에너지, 회전 횟수는 측정하지 않는다. 에이전트가 목표를 찾기 위해 탐색해야 하는 처음 보는 환경에서는, 최단 경로가 에이전트에게 없는 지도를 전제하므로 좋은 에이전트라도 1보다 훨씬 낮은 점수가 예상된다. 이진 성공을 목표를 향한 진척도로 바꾼 SoftSPL 같은 변형과 시간이나 행동에 기반한 척도가 이런 문제 일부를 해결하기 위해 제안되었다.
중요한 이유
SPL은 체화 내비게이션 연구에, 목표 도달과 헤매지 않는 것을 모두 보상하는 공통된 에이전트 비교 방법을 제공했으며, 시뮬레이션 내비게이션 벤치마크에 관한 대부분의 논문에 보고된다. 이 결과들을 읽고 높은 점수가 실제 로봇으로 이어질지 판단하려면 SPL이 무엇을 측정하고 무엇을 무시하는지 알아야 한다.
주요 응용
- PointGoal 및 ObjectGoal 내비게이션 에이전트 벤치마킹
- Habitat 같은 시뮬레이터에서의 체화 AI 챌린지
- 학습 기반 내비게이션 스택과 고전적 내비게이션 스택 비교
- 시각-언어 내비게이션 에이전트 평가
- 실제 로봇에서 Sim-to-Real 내비게이션 성능 추적
실제 사례
한 팀이 따로 남겨 둔 시뮬레이션 아파트에서 1,000개 에피소드로 두 내비게이션 정책을 평가한다. 각 에피소드에 대해 시뮬레이터는 내비게이션 메시 위에서 시작점부터 목표까지의 측지 최단 경로를 계산하고, 평가 스크립트는 에이전트가 성공 반경 안에서 멈췄는지와 얼마나 이동했는지를 기록한다. 정책 A는 더 자주 성공하지만 크게 돌아가고, 정책 B는 덜 자주 성공하지만 성공할 때는 거의 최적 경로를 택한다. 팀은 성공률과 SPL을 나란히 보고하고 충돌 횟수도 함께 보고하는데, SPL만으로는 한 정책이 다른 정책보다 가구에 훨씬 더 자주 부딪힌다는 사실이 드러나지 않기 때문이다.
흔한 오해
- SPL은 목표까지의 직선 거리를 쓴다 — 이동 가능한 공간을 지나는 측지 최단 경로 거리를 쓴다
- SPL은 목표에 가까이 가는 것을 보상한다 — 실패한 에피소드는 에이전트가 얼마나 가까이서 멈췄든 0점이며, 부분 점수를 주기 위해 SoftSPL이 제안되었다
- 좋은 에이전트라면 1에 가까운 SPL을 기대해야 한다 — 미지의 환경에서는 에이전트가 탐색해야 하므로, 강한 에이전트도 최단 경로라는 이상적인 기준보다 훨씬 낮은 점수를 받는다
- SPL은 전반적인 내비게이션 품질을 포착한다 — 시간, 충돌, 매끄러움, 에너지를 무시하므로 이들은 보통 따로 보고해야 한다
알아야 할 사람
- 체화 AI 및 내비게이션 연구자
- 이동 로봇 내비게이션 스택을 벤치마킹하는 엔지니어
- 내비게이션 논문을 비교하는 심사자와 독자
- 시뮬레이션 및 벤치마크 설계자
관련 기술
- Habitat Simulator
- 내비게이션 메시(Navigation Meshes)
- SoftSPL
- PointGoal 내비게이션(PointGoal Navigation)
- ObjectGoal 내비게이션(ObjectGoal Navigation)
관련 용어
관련 프로젝트
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
- RLinf: Scalable infrastructure for post-training foundation models via RL
- Nav2: ROS 2 navigation stack with path planning and obstacle avoidance for mobile robots