Success Weighted by Path Length

又称: SPL
类别: State estimation & navigation › Navigation
标签: navigation, evaluation-metrics, embodied-ai, benchmarking, simulation

一种导航指标：在各回合上对成功与最短路径距离和智能体实际所走路径长度之比的乘积取平均。

定义

路径长度加权成功率（success weighted by path length，SPL）是一种用于目标导向导航智能体的评估指标，由 Anderson 等人在 2018 年的报告 On Evaluation of Embodied Navigation Agents 中提出。它把智能体是否到达目标与到达的效率结合起来。对于 N 个测试回合，SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ)，其中若第 i 个回合成功则 Sᵢ 为 1，否则为 0；ℓᵢ 是从起点到目标的最短路径距离；pᵢ 是智能体实际走过的路径长度。

最短路径距离 ℓᵢ 是穿过可通行空间的测地距离，在环境的地图或导航网格上计算，而不是穿墙而过的直线距离。沿最短路径到达目标的智能体在该回合得 1 分，走了两倍距离才到达的智能体得 0.5 分，而失败的回合无论智能体离目标多近都得 0 分。成功本身由基准测试定义，通常是在距目标一定距离之内停下，许多基准测试还要求智能体发出一个显式的停止动作。SPL 是 Habitat 等具身智能仿真器中 PointGoal 和 ObjectGoal 导航的标准主指标，并且有针对物体目标任务的变体，其中 ℓᵢ 是到最近的有效目标实例的距离。

SPL 存在已知的缺点。由于失败计为零分，它在回合层面上是二元的，可能掩盖那些总是非常接近目标的智能体。它只衡量路径长度，不衡量时间、碰撞、能耗或转弯次数。在智能体必须探索才能找到目标的未见过的环境中，即使是好的智能体，分数也会远低于 1，这是预料之中的，因为最短路径假设了一张智能体并没有的地图。为了解决其中一些问题，人们提出了 SoftSPL 等变体（它用朝目标的进展取代二元的成功），以及基于时间或动作的指标。

为何重要

SPL 为具身导航研究提供了一种共同的智能体比较方式，既奖励到达目标，也奖励不绕路，大多数关于仿真导航基准测试的论文都会报告它。了解它衡量什么、忽略什么，才能读懂这些结果，并判断高分能否迁移到真实机器人上。

主要应用

对 PointGoal 和 ObjectGoal 导航智能体进行基准测试
在 Habitat 等仿真器中进行的具身智能挑战赛
比较学习型和经典导航栈
评估视觉-语言导航智能体
在实体机器人上跟踪从仿真到现实的导航性能

实际应用

一个团队在留出的仿真公寓中用 1,000 个回合评估两个导航策略。对每个回合，仿真器在导航网格上计算从起点到目标的测地最短路径，评估脚本则记录智能体是否在成功半径内停下以及走了多远。策略 A 成功得更频繁，但会绕很远的路；策略 B 成功得较少，但成功时走的几乎是最优路线。团队把成功率和 SPL 并列报告，并加上碰撞次数，因为仅凭 SPL 无法看出一个策略比另一个策略更频繁地撞到家具。

常见误解

SPL 使用到目标的直线距离 — 它使用穿过可通行空间的测地最短路径距离
SPL 会奖励接近目标 — 失败的回合无论智能体停在离目标多近的地方都得零分；SoftSPL 就是为了给出部分分数而提出的
好的智能体应当得到接近 1 的 SPL — 在未知环境中智能体必须探索，因此即使是强大的智能体，得分也远低于最短路径的理想值
SPL 反映了整体导航质量 — 它忽略时间、碰撞、平滑性和能耗，这些通常需要单独报告

谁需要了解

具身智能和导航研究人员
对移动机器人导航栈进行基准测试的工程师
比较导航论文的审稿人和读者
仿真和基准测试的设计者

Open Source Robotics

Success Weighted by Path Length

定义

为何重要

主要应用

实际应用

常见误解

谁需要了解

相关技术

相关术语

相关项目