On Evaluation of Embodied Navigation Agents

저자: Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, Vladlen Koltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, Amir R. Zamir · arXiv 2018

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 합니다.

요약

새로운 방법이 아니라 내비게이션 연구에 관한 워킹 그룹의 권고 보고서: DONE 행동, 측지 거리, SPL 지표, SI 단위를 쓰는 연속 시뮬레이터, 네 개 데이터셋 기반의 표준 시나리오.

중요한 이유

SPL은 목표 도달과 효율적인 경로 선택을 모두 보상하는 하나의 수치를 제공하며, DONE 요구 조건은 에이전트가 도착했음을 아는지를 시험한다. 논문은 또한 시뮬레이션 연구가 완벽한 주행거리계나 GPS 같은 감지 가정을 명시할 것과, 시뮬레이터가 학습된 에이전트를 물리적 로봇에 배치하기 위한 오픈소스 소프트웨어와 함께 제공될 것을 요구한다.

문제

3D 환경에서의 내비게이션 연구는 서로 호환되지 않는 많은 과제 정의, 테스트베드, 평가 프로토콜을 만들어 냈고, 이 때문에 결과를 비교하기 어렵다. 일부 프로토콜은 에이전트가 목표 근처에 오자마자 에피소드를 성공으로 간주하거나, 벽을 무시하는 유클리드 거리로 가까움을 측정하거나, 에이전트가 얼마나 노출되었는지 보고하지 않은 채 시험 환경에서 학습했다.

제안 방법

내비게이션 연구자들로 구성된 워킹 그룹이 목표 유형(PointGoal, ObjectGoal, AreaGoal), 시험 환경에 대한 사전 노출 체제, 그리고 일곱 가지 권고 사항을 정의한다. 주요 척도는 SPL이다. 성공한 각 에피소드는 최단 경로 길이를 에이전트 경로 길이와 최단 경로 중 큰 값으로 나눈 점수를 받고, 이를 모든 에피소드에 대해 평균하며, 성공은 에이전트가 목표로부터 거리 임계값 이내에서 DONE 행동을 낼 때만 판정된다. SUNCG, Matterport3D, AI2-THOR, Gibson에 대해 표준 학습, 검증, 시험 시나리오가 정의된다.

핵심 통찰

• 성공은 에피소드 중 더 유리한 이전 시점이 아니라 에이전트가 DONE을 선언하는 순간에 판정해야 한다.
• 목표 바로 옆에 있지만 벽 뒤에 있는 에이전트는 가깝지 않으므로, 유클리드 거리 대신 측지(최단 경로) 거리를 사용해야 한다.
• SPL은 엄격하다. 저자들은 복잡한 미지의 환경에서 0.5를 좋은 수준으로 예상하며, 데이터셋마다 인간 피험자로 보정할 것을 제안한다.
• 시험 환경에 대한 사전 노출은 정량화되어 보고되어야 한다. 논문은 세 가지 체제를 제시한다. 사전 탐색 없음, 미리 기록된 탐색, 에이전트의 시간 제한 탐색.
• 연속 상태 공간과 SI 단위(시뮬레이터 1단위 = 1 m)는 시뮬레이터를 배치 조건에 더 가깝게 만들고 결과를 비교 가능하게 한다.

주요 결과

• SPL = (1/N) Σ Sᵢ · ℓᵢ / max(pᵢ, ℓᵢ): 최적 경로에서 50% 성공이면 0.5, 최적의 두 배인 경로에서 100% 성공이면 0.5, 최적의 두 배에서 50% 성공이면 0.25가 된다.
• 기본 성공 임계값 τ는 에이전트 몸체 폭의 두 배이다. SUNCG와 Matterport3D에 사용되고 Gibson의 권장 기본값이기도 한 0.2 m 몸체 폭에서는 τ = 0.4 m이다.
• SUNCG 시나리오: 단층 주택 500채를 300/100/100으로 분할하며, 방 2,737개, 물체 41,158개, 바닥 면적 약 110,000 m². Matterport3D: 데이터셋의 61/11/18 주택 분할, 190개 층에 걸친 방 영역 2,206개.
• AI2-THOR v1.0: 4가지 방 유형의 장면 120개 중 80개는 학습, 20개는 검증, 20개는 시험용이며, PointGoal과 ObjectGoal 각각에 대해 시험 장면당 시나리오 125개.
• Gibson: 건물 572개, 층 1,447개, 211,000 m²이며, tiny(25/5/5), medium(100/20/20), full(402/85/85) 분할이 있다.
• 시나리오 수: 6절의 일반 절차는 장면당 100개가 넘는 시작-목표 구성을 생성하는 반면, Gibson 하위 절은 공간당 100개의 시작-목표 쌍을 규정한다.

한계

• 이는 실험 연구가 아니라 워킹 그룹의 권고 보고서이다. 시뮬레이션이든 실제든 로봇 실험은 수행하지 않으며, 결과물은 정의, 지표, 표준 시나리오이다.
• 저자들은 로봇공학에서 시뮬레이션이 회의적으로 여겨지며 에이전트가 결국 물리적 세계에서 작동해야 한다고 언급한다. 실제 로봇으로 전이하기 위한 도구는 권고 사항이지, 논문이 제공하는 것이 아니다.
• 그룹은 내비게이션 에이전트의 특정 내부 표현을 권고하는 것을 시기상조라며 거절한다.
• AI2-THOR v1.0은 각 장면이 방 하나로 이루어져 있어 AreaGoal에 사용할 수 없다.
• Gibson의 측지 거리는 바닥 위 고정된 높이에서 계산되며 지상 차량과 드론처럼 에이전트 유형에 따라 다르므로, 에이전트마다 다시 계산해야 할 수 있다.

분야에 미친 영향

인용 1047회. 논문은 표준 내비게이션 시나리오를 공개한다. SUNCG와 Matterport3D 시나리오 파일은 github.com/minosworld/scenarios에, Gibson 시나리오는 gibson.vision/nav_scenarios에 있다.

초록

3차원 환경에서의 능숙한 이동 작업은 인공지능의 주요 연구 주제이다. 지난 2년 동안 내비게이션에 관한 창의적인 연구가 급증했다. 이러한 창의적 성과는 때로 서로 호환되지 않는 수많은 과제 정의와 평가 프로토콜을 만들어 냈다. 이 분야의 진행 중인 연구와 향후 연구를 조율하기 위해, 우리는 내비게이션 연구의 실증적 방법론을 연구하는 워킹 그룹을 소집했다. 본 문서는 이 워킹 그룹의 합의된 권고 사항을 요약한다. 우리는 서로 다른 문제 정의와 일반화의 역할을 논의하고, 평가 척도를 제시하며, 벤치마킹에 사용할 수 있는 표준 시나리오를 제공한다.

링크

• arXiv 1807.06757: https://arxiv.org/abs/1807.06757
• DOI https://doi.org/10.48550/arxiv.1807.06757: https://doi.org/https://doi.org/10.48550/arxiv.1807.06757
• PDF: https://arxiv.org/pdf/1807.06757v1