Learning When to Quit: Meta-Reasoning for Motion Planning

저자: Yoonchang Sung, Leslie Pack Kaelbling, Tomás Lozano-Pérez · IROS 2021

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

과거 플래너 실행으로부터 애니타임 모션 플래너(RRT, PRM, Lazy PRM*)를 언제 멈출지 학습하여 경로 품질과 계획 시간 사이의 트레이드오프를 최대화한다.

중요한 이유

RRT나 PRM으로 계획하는 모든 로봇은 계획 시간 예산을 정해야 하며, 고정된 시간이나 고정된 품질 임계값은 시간이나 경로 품질 중 하나를 낭비한다. 이 방법은 수정하지 않은 애니타임 플래너를 감싸므로, 목표 환경 분포의 학습용 문제를 확보할 수 있는 한 기존 OMPL 방식 플래너 위에 덧붙일 수 있다.

문제

애니타임 모션 플래너는 오래 실행할수록 경로를 계속 단축하지만, 해의 품질과 계산 시간 사이에 잘 규명된 관계가 없어서 언제 계획을 멈추고 움직이기 시작할지 불분명하다. 플래너가 새로운 호모토피 클래스를 찾을 때 더 짧은 경로가 갑작스럽게 도약하듯 나타나므로 성능 프로파일은 매우 매끄럽지 않으며, 이 때문에 미래 품질을 단순히 온라인으로 외삽하는 방법은 쓸 수 없다.

제안 방법

저자들은 같은 분포에서 뽑은 과거 계획 문제들의 성능 프로파일로부터 중단 정책을 학습하여, 사용자가 가중치를 정하는 효용 U(q, t) = wq − (1 − w)t를 최대화한다. 모델 기반 변형은 이산화한 품질과 시간 위의 마르코프 결정 과정을 학습하고 가치 반복으로 푼다. 두 가지 모델 프리 변형(수작업으로 설계한 특징을 쓰는 피드포워드 분류기와 RNN 시퀀스-투-시퀀스 모델)은 사후에 계산한 오라클 중단 결정을 모방한다. CNN은 2D 작업 공간 이미지로부터 최적 경로 길이를 예측하여, 난이도가 서로 다른 문제의 프로파일을 정규화하고 비교할 수 있게 한다.

핵심 통찰

• 각 학습 실행에 대해 최적 중단 시점을 사후에 계산할 수 있으므로, 정책 학습 문제가 강화학습이 아니라 지도 모방 학습 문제로 바뀐다.
• 경로 품질을 정규화하려면 알려지지 않은 최적 경로 길이가 필요하다. 2D 작업 공간 이미지로부터 이를 예측하는 CNN은 문제 간 프로파일을 비교 가능하게 만들며, 나쁜 정규화 기준(시작점에서 목표까지의 직선)은 효용을 크게 떨어뜨린다.
• 더 풍부한 이력 특징(기울기, 평탄도)은 모델 기반 전이 모델을 훨씬 정확하게 만들지만, 그 추정 비용은 수 초에서 하루 이상으로 늘어난다. 차원의 저주가 직접 드러나는 사례다.
• RNN은 원시 효용 시퀀스로부터 자체 시간 특징을 학습하며, 플래너와 효용 가중치 전반에 걸쳐 가장 안정적으로 좋은 결과를 냈다.

주요 결과

• 200개의 보류(held-out) 작업 공간에서 CNN 최적 경로 길이 예측기의 정확도: 세 가지 환경 분포에서 88.21%, 96.23%, 94.25%.
• CNN 정규화 기준을 사용하면 세 환경에서 효용이 0.58, 0.65, 0.66이었으며, 실제 최적 길이를 사용하면 0.63, 0.70, 0.67, 직선 정규화 기준을 사용하면 0.39, 0.40, 0.60이었다.
• 전이 모델의 보류 데이터 손실은 1.84(특징 없음)에서 (t, q) 사용 시 0.22, (t, q, 기울기) 사용 시 0.10으로 떨어졌고, 추정 시간은 0.41 s에서 10.64 s, 11,933.72 s로 늘었다.
• w = 0.8에서 RRT*: 오라클 효용 0.677, RNN 0.670, 모델 기반 0.663, 분류기 0.658이며, 고정 품질 기준선은 0.634, 고정 시간 기준선은 0.575였다.
• w = 0.8에서 PRM*: 오라클 0.718, 모델 기반 0.702, RNN 0.698, 분류기 0.697, 고정 품질 0.674, 고정 시간 0.662.
• w = 0.2에서는 고정 품질 기준선이 음수가 되었고(RRT −0.283, PRM −0.344, Lazy PRM* −0.367), 학습된 방법들은 양수를 유지했다.

한계

• CNN 최적해 예측기는 2D 작업 공간 이미지를 입력으로 받으므로 방법이 평면 작업 공간 문제로 제한된다. 복셀 격자나 포인트 클라우드를 통한 3D 확장은 제안되었지만 수행되지 않았다.
• 새로운 문제는 학습 문제와 같은 분포에서 나온다고 가정하며, 학습에는 대표적인 문제에 대한 긴 플래너 실행이 많이 필요하다.
• 모델 기반 방법에 이력 특징을 추가하는 것은 더 큰 실험에서 계산상 불가능했으므로 (q, q_prev, t)만 사용했다.
• 모든 평가는 2D 작업 공간에서 3자유도 강체 로봇을 사용한 시뮬레이션이며, 실제 로봇은 테스트하지 않았다.
• 선형 효용 U(q, t) = wq − (1 − w)t만 연구했다.

분야에 미친 영향

이 논문은 IROS 2021 Best Paper Award on Cognitive Robotics 최종 후보였으며 인용 수는 14회이다. 코드나 데이터 공개는 명시하지 않는다.

초록

애니타임 모션 플래너는 로보틱스에서 널리 사용된다. 그러나 해의 품질과 계산 시간 사이의 관계는 잘 이해되어 있지 않으며, 따라서 언제 계획을 그만두고 실행을 시작할지 판단하기가 불분명하다. 본 논문에서는 애니타임 모션 플래닝을 위해, 제한된 계산 능력 아래에서 숙고를 언제 멈출지 결정하는 문제, 이른바 메타 추론(meta-reasoning) 문제를 다룬다. 우리는 서로 다른 환경 분포에 적용할 수 있고 애니타임 모션 플래너의 선택과 무관한 데이터 기반 학습 방법, 즉 모델 기반 및 모델 프리 메타 추론을 제안한다. 프레임워크의 일부로, 주어진 2D 작업 공간 이미지로부터 최적 경로 길이를 예측하는 합성곱 신경망 기반 최적해 예측기를 설계한다. 제안한 방법의 성능을 시뮬레이션에서 기준선과 비교하여 실험적으로 평가한다.

링크

• arXiv 2103.04374: https://arxiv.org/abs/2103.04374
• DOI 10.1109/IROS51168.2021.9636864: https://doi.org/10.1109/IROS51168.2021.9636864
• PDF: https://arxiv.org/pdf/2103.04374v1