Legged Locomotion in Challenging Terrains using Egocentric Vision

저자: Ananye Agarwal, Ashish Kumar, Jitendra Malik, Deepak Pathak · CoRL 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

계산 비용이 낮은 지형 샘플로 RL을 수행한 뒤 깊이 입력으로 증류하여, A1 4족 로봇에 깊이에서 관절 각도로 가는 정책을 부여하며, 이 정책은 계단과 연석을 오르고 틈과 징검돌을 건넌다.

중요한 이유

배치된 정책은 깊이 카메라 하나만 쓰고 고도 지도, 위치 추정, MPC가 필요 없으므로 로봇에 탑재된 UP 보드와 Jetson NX에서 실행된다. 계단에서의 큰 고관절 외전 같은 보행 방식이 학습에서 자연스럽게 나타나며, 덕분에 고관절 높이가 28 cm인 로봇이 자신의 높이에 가까운 계단을 오를 수 있다.

문제

비전 기반 보행은 보통 고도 지도 작성과 발 디딤 위치 계획으로 나뉘며, 고도 지도에는 오도메트리의 자세 추정과 융합된 여러 장의 깊이 이미지가 필요하다. 자세 드리프트와 센서 잡음 때문에 이런 지도는 틈과 징검돌 위에서 신뢰할 수 없으며, 추가 카메라, 라이다, 연산 장치는 작고 저렴한 로봇에는 탑재할 수 없다. 또한 작은 로봇은 자신의 높이에 가까운 장애물을 넘기 위해 미리 정의된 보행 사전 지식에 의존할 수 없다.

제안 방법

1단계에서는 스캔닷(로봇 아래 고정된 지점에서 샘플링한 지형 높이)과 특권 정보를 사용하고, 에너지 기반 보상을 쓰며 보행 사전 지식 없이 시뮬레이션에서 PPO로 정책을 학습시킨다. 2단계에서는 DAgger로 이를 순환 정책으로 증류하는데, 이는 단일 GRU이거나 고정된 기본 정책에 입력을 주는 RMA 방식 추정기로, 자기 중심 깊이와 고유수용 감각을 50 Hz로 목표 관절 각도에 직접 매핑하고 기억을 사용해 뒷발 아래 지형을 추론한다.

핵심 통찰

깊이를 렌더링하면 시뮬레이션이 한 자릿수 배 느려진다. 계산이 저렴한 스캔닷으로 RL을 수행한 뒤 지도 학습으로 깊이에 증류하면 전체 시스템을 GPU 한 장으로 며칠 안에 학습시킬 수 있다.
순환 정책은 앞쪽 카메라가 앞서 본 지형을 기억하여 뒷발을 디딜 수 있으므로 명시적 고도 지도를 대신한다.
보행 사전 지식 없이도, 계단 모서리를 넘기 위한 큰 고관절 외전처럼 작은 로봇에 맞는 행동이 에너지 최소화 보상에서 나타난다.
2단계 모방 손실이 낮게 유지되도록 스캔닷과 카메라 시야를 고르면, 2단계 정책의 반환값이 최적에 가깝다는 것이 증명된다(정리 2.1).
고도 지도 파이프라인은 자세 드리프트에 대처하기 위해 큰 학습 잡음이 필요하며, 시뮬레이션에서 이 'noisy' 기준선은 징검돌 위에서 거의 움직이지 못한다.

주요 결과

실제 환경: 계단 오르내리기(높이 17 cm, 깊이 30 cm, 13단) 100% 성공, 26 cm 틈 100%, 징검돌(폭 30 cm, 간격 15 cm) 94%. 시각 없는(blind) 기준선은 계단 오르기, 틈, 징검돌에서 0%를 기록한다.
시뮬레이션 합계: 평균 전진 변위는 134.18 m(RMA)와 135.85 m(단일)로, 73.05 m(noisy)와 84.79 m(blind)보다 크다. 평균 낙상 시간은 278.45 s와 275.01 s로, 147.83 s와 175.06 s보다 길다.
시뮬레이션 징검돌: RMA 정책과 단일 정책은 18.83 m와 20.72 m를 이동하는 반면, noisy 기준선과 blind 기준선은 1.09 m와 1.02 m를 이동한다.
시뮬레이션 경사면에서 비전 정책은 기준선보다 더 멀리 이동한다. Results 본문에 따르면 최대 27%, Table 1 캡션에 따르면 최대 25%이다.
도시 환경 테스트의 계단 높이: Urban Environments 절에 따르면 최대 24 cm 높이(가장 좁은 폭 28 cm), Introduction에 따르면 최대 25 cm로 고관절 높이의 89%이다. 연석은 최대 26 cm.
blind 기준선은 계단 내려가기 작업을 매번 완수하지만, 충격이 큰 떨어지는 듯한 보행으로 수행하며, 이로 인해 시험 중 로봇의 오른쪽 뒤 고관절이 분리되었다.

한계

시뮬레이션과 실제 환경 사이에 시각이나 지형이 다르면 여전히 실패가 발생한다. 이 접근법에서 유일한 해결책은 그 경우를 시뮬레이션에서 재현하고 다시 학습시키는 것이며, 저자들은 이를 근본적인 한계라고 부른다.
로봇은 환경 속을 이동할 뿐 환경과 상호작용하지 않으며, 팔을 추가하는 것은 향후 과제다.
몸 아래의 지형은 시각적 기억에서 오기 때문에 로봇은 계단에서 가끔 발을 헛디디며(회복은 한다), 실외에서는 가끔 틈새에 끼인다.
실제 환경 비교에는 서로 다른 2단계 정책이 사용되었다. 계단에는 내장 전면 카메라를, 틈과 징검돌에는 외부에 장착한 상단 카메라를 사용했다.
하드웨어에서는 이 방법을 blind 기준선과만 비교하며, 고도 지도(noisy) 기준선은 시뮬레이션에서만 테스트된다.

분야에 미친 영향

CoRL 2022 Best Systems Paper Award 수상작이며 인용 수는 373회이다. 논문은 프로젝트 페이지에 동영상을 공개하며, 코드 공개는 명시하지 않는다.

초록

동물은 시각을 이용해 정밀하고 민첩하게 이동할 수 있다. 이 능력을 재현하는 것은 로봇공학의 오랜 목표였다. 전통적인 접근법은 이 문제를 고도 지도 작성과 발 디딤 위치 계획 단계로 분해하는 것이었다. 그러나 고도 지도 작성은 실패와 큰 잡음 아티팩트에 취약하고, 특수한 하드웨어를 필요로 하며, 생물학적으로 그럴듯하지 않다. 본 논문에서 우리는 계단, 연석, 징검돌, 틈을 통과할 수 있는 최초의 엔드투엔드 보행 시스템을 제시한다. 이 결과를 전면을 향한 깊이 카메라 하나를 사용하는 중간 크기의 4족 로봇에서 보여준다. 로봇의 작은 크기 때문에 다른 곳에서 볼 수 없는 특화된 보행 패턴을 찾아내야 한다. 자기 중심 카메라 때문에 정책은 뒷발 아래의 지형을 추정하기 위해 과거 정보를 기억해야 한다. 우리는 정책을 시뮬레이션에서 학습시킨다. 학습은 두 단계로 이루어진다. 먼저 계산 비용이 낮은 깊이 이미지 변형을 사용해 강화 학습으로 정책을 학습시키고, 이어서 2단계에서 지도 학습을 사용해 이를 깊이를 사용하는 최종 정책으로 증류한다. 결과 정책은 실제 환경으로 이전되며 로봇의 제한된 연산 자원에서 실시간으로 실행될 수 있다. 이 정책은 밀기, 미끄러운 표면, 바위 지형 같은 섭동에 강건하면서 매우 다양한 지형을 통과할 수 있다. 동영상은 https://vision-locomotion.github.io 에 있다.

링크

arXiv 2211.07638: https://arxiv.org/abs/2211.07638
DOI 10.48550/arXiv.2211.07638: https://doi.org/10.48550/arXiv.2211.07638
PDF: https://proceedings.mlr.press/v205/agarwal23a/agarwal23a.pdf
프로젝트 페이지: https://vision-locomotion.github.io/