PI-ARS: Accelerating Evolution-Learned Visual-Locomotion with Predictive Information Representations

저자: Kuang-Huei Lee, Ofir Nachum, Tingnan Zhang, Sergio Guadarrama, Jie Tan, Wenhao Yu · IROS 2022

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

예측 정보로 학습한 128차원 깊이·고유수용 감각 인코더와 ARS로 학습한 작은 정책 헤드를 결합하여, 실제 징검돌에서 ARS의 40%에 비해 100% 성공률을 얻는다.

중요한 이유

진화 전략의 병렬성과 단순함을 유지하면서, 비전 기반 제어에서 진화 전략의 주요 장애물인 파라미터 탐색 공간의 크기를 줄인다. 정책은 이전 ARS 연구와 같은 sim-to-real 절차를 사용하여 징검돌과 실내 내비게이션 작업에서 PyBullet에서 실제 Laikago로 이전되었다.

문제

Augmented Random Search(ARS) 같은 진화 전략은 병렬화가 잘 되고 파라미터 공간에서 탐색하지만, 시각 보행에 필요한 합성곱 신경망의 많은 파라미터로는 잘 확장되지 않는다. 저자들의 실험에서 기울기 기반 대안인 SAC와 PI-SAC는 이 작업들에서 의미 있는 진전을 보이지 못했고, 이전의 ARS 시각 보행 정책은 실제 징검돌에서 40% 성공률에 그쳤다.

제안 방법

PI-ARS는 에이전트를 인코더와 작은 정책 헤드로 나눈다. 인코더는 32×24 깊이 이미지 두 장과 고유수용 감각 상태를 128차원 벡터로 매핑하며, ARS가 이미 수집하는 궤적에서 미래 깊이 관측을 예측하는 InfoNCE 항과 RNN 보상 예측을 결합해 예측 정보를 최대화하도록 경사 하강법으로 학습된다. 그런 다음 ARS는 MPC 기반 저수준 제어기에 고수준 명령을 출력하는 3층 MLP 헤드만 최적화한다.

핵심 통찰

• 표현 학습(기울기 기반)을 정책 탐색(기울기 없음)과 분리하면 진화 전략의 장점을 유지하면서 확장성 문제를 피할 수 있다.
• ARS 섭동 롤아웃에서 나온 궤적을 리플레이 버퍼에 저장하고 인코더 학습에 재사용하므로, 표현 학습에 추가 환경 데이터가 필요 없다.
• 보상 예측만으로는 작업을 풀기에 너무 약한 표현이 나왔으며, 대조적 미래 관측 항이 필요했다.
• 저자들은 여기서 ARS의 파라미터 공간 탐색과 안정성이 결정적이라고 본다. SAC에 예측 정보를 추가한 PI-SAC는 도움이 되지 않았으므로, 좋은 표현만으로는 충분하지 않았다.

주요 결과

• 실제 징검돌(돌 4개, 0.12–0.18 m 간격 3개): 같은 학습 및 평가 설정에서 PI-ARS는 10회 중 10회(100%) 성공했으며, ARS 기준선은 40%였다.
• 시뮬레이션의 고르지 않은 징검돌: 학습 에피소드 2,000,000회 후 평균 반환값이 2.93에서 4.34로 48.01% 증가했다.
• PI-ARS는 시뮬레이션의 네 가지 작업, 즉 고르지 않은 징검돌, 매화꼴 말뚝, 움직이는 플랫폼, 실내 내비게이션 모두에서 ARS보다 높은 반환값과 더 나은 샘플 효율을 보인다.
• SAC와 PI-SAC는 광범위한 하이퍼파라미터 조정에도 불구하고 이 작업들에서 무시할 수 없는 수준의 학습 진전을 전혀 보이지 못했다.
• 실제 실내 내비게이션: 정책은 목표에 도달했고 두 장애물 사이의 지름길을 찾았지만, 한 장애물의 팔 부분과 충돌했다.
• 학습에는 ARS 반복당 1024개의 섭동을 사용하고 상위 512개를 유지했으며, 최대 4000회 반복(시행당 최대 2,048,000개의 시뮬레이션 에피소드), 방법당 30회 시행을 수행했다.

한계

• 실제 실내 내비게이션에서 로봇은 상자 모양의 시뮬레이션 장애물로만 학습되었기 때문에 장애물의 팔 부분과 충돌했다.
• 실내 작업만 테스트되었으며, 실외 시각 보행은 향후 과제로 남는다.
• 실제 징검돌 정책은 돌 높이 변화가 더 작은, 더 쉬운 버전의 시뮬레이션 지형에서 학습되었다.
• 실내 내비게이션에서는 상대 목표 벡터를 위해 로봇 베이스 위치를 추적하는 모션 캡처 시스템이 필요했다.
• 학습된 정책은 고수준 명령만 출력하며, 이를 실행하기 위해 MPC 기반 저수준 제어기에 의존한다.

분야에 미친 영향

IROS 2022 Best Paper Award 및 ABB Best Student Paper Award 최종 후보였으며 인용 수는 21회이다. 저자들은 보충 동영상 페이지를 공개하며, 논문은 코드 공개를 명시하지 않는다.

초록

진화 전략(Evolution Strategy, ES) 알고리즘은 대규모 병렬화 능력, 간단한 구현, 효과적인 파라미터 공간 탐색, 빠른 학습 시간 덕분에 복잡한 로봇 제어 정책 학습에서 유망한 결과를 보여 왔다. 그러나 ES의 핵심 한계는 현대 신경망 구조를 포함한 대용량 모델로의 확장성이다. 이 연구에서 우리는 표현 학습의 최근 발전을 활용해 ES의 파라미터 탐색 공간을 줄임으로써 이 한계를 완화하는 Predictive Information Augmented Random Search(PI-ARS)를 개발한다. 즉, PI-ARS는 기울기 기반 표현 학습 기법인 Predictive Information(PI)과 기울기를 쓰지 않는 ES 알고리즘인 Augmented Random Search(ARS)를 결합하여, 복잡한 로봇 감각 입력을 처리하고 매우 비선형적인 로봇 동역학을 다룰 수 있는 정책을 학습시킨다. 우리는 4족 로봇이 고르지 않은 징검돌, 매화꼴로 배치된 말뚝, 움직이는 플랫폼 위를 걸어야 하고 실내 내비게이션 작업도 완수해야 하는 일련의 어려운 시각 보행 작업에서 PI-ARS를 평가한다. 모든 작업에서 PI-ARS는 ARS 기준선에 비해 현저히 더 나은 학습 효율과 성능을 보인다. 또한 학습된 정책이 실제 4족 로봇으로 성공적으로 이전될 수 있음을 보여 알고리즘을 검증하는데, 예를 들어 실제 징검돌 환경에서 100% 성공률을 달성하여 40% 성공률을 기록한 기존 결과를 크게 개선한다.

링크

• arXiv 2207.13224: https://arxiv.org/abs/2207.13224
• DOI 10.1109/IROS47612.2022.9981952: https://doi.org/10.1109/IROS47612.2022.9981952
• PDF: https://arxiv.org/pdf/2207.13224v1
• 프로젝트 페이지: https://kuanghuei.github.io/piars