Learning Vision-Based Bipedal Locomotion for Challenging Terrain

저자: Helei Duan, Bikram Pandit, Mohitvishnu S. Gadde, Bart van Marum, Jeremy Dao, Chanho Kim, Alan Fern · ICRA 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

시뮬레이션에서 학습한 RL 정책과 깊이-높이 맵 예측기를 결합해, 이족 로봇 Cassie가 전역 주행거리 추정이나 실제 환경 미세 조정 없이 블록, 계단, 0.5 m 단차를 건넌다.

중요한 이유

전체 시스템이 온보드로 실행되며 전역 자세를 추정하지 않는다. 이는 지면을 세게, 자주 딛는 보행 로봇에서 흔한 실패 원인 하나를 없앤다. 저자들은 이것을 어려운 지형에서 시각 기반 이족 보행을 sim-to-real로 시연한 첫 사례로 보고하며, 전이가 작동하려면 어떤 학습 선택이 필요했는지 기록한다.

문제

이족 로봇의 RL 제어기는 대부분 고유수용성 감각에만 의존하는 블라인드 방식이었기 때문에 지형을 예측할 수 없고, 높은 유각 궤적을 가진 공격적인 걸음걸이를 쓰는 경향이 있다. 모델 기반 인식 파이프라인은 문제를 전신 제어, 발 디딤 계획, 주행거리 추정, 지형 지도 작성으로 나누며, 전역 좌표계에서 만든 지도는 잦은 접촉과 공격적인 움직임으로 인한 자세 추정 오차와 함께 드리프트한다.

제안 방법

보행 정책은 MuJoCo에서 PPO로 학습되며, 로봇의 플로팅 베이스를 기준으로 표현한 5 cm 해상도의 1.5 m × 1 m 높이 맵을 입력으로 받는다. 이 정책은 사전 학습된 LSTM 블라인드 정책과, 걸음 주파수 및 다리별 위상 이동도 조정하는 시각 기반 변조기를 결합한다. 별도의 높이 맵 예측기(LSTM 단계와 그 뒤의 U-Net 정제 단계)는 30,000개의 시뮬레이션 에피소드로 학습되어, 자기중심 깊이 이미지와 로봇 상태의 이력을 그 높이 맵으로 매핑한다. 동역학, 토크 효율, 지연, 높이 맵 노이즈, 깊이 이미지 노이즈에 대한 도메인 무작위화가 두 네트워크를 실제 로봇으로 옮겨 준다.

핵심 통찰

• 높이 맵을 로봇의 국소 좌표계로 표현하면 정책이 전역 지도 작성이나 주행거리 추정 없이 지형에 반응할 수 있다. 하드웨어에서 정책은 카메라가 더 이상 볼 수 없는 지형 위에서도 유각(swing) 발을 올바르게 내디뎠으며, 저자들은 이를 정책이 내부 주행거리 추정을 유지하는 것으로 해석한다.
• 지형 샘플링 구성(주로 블록, 능선, 계단)이 휴리스틱 보상 항을 추가하는 것보다 강건하고 공격적이지 않은 걸음걸이를 더 효과적으로 형성했다. 계단은 보폭을, 능선은 발 들어 올림 높이를 조절한다.
• 발 충돌 페널티가 없으면 정책은 시뮬레이션에서 비슷한 성공률에 도달했지만 충돌을 피드백으로 사용했다. 예를 들어 수직면을 따라 발을 미끄러뜨려 올렸다. 그 결과 잦은 비틀거림으로 sim-to-real 전이가 불가능했다.
• 토크 효율의 무작위화는 무릎 모터가 포화되는 0.5 m 단차에서 특히 중요했다.
• 학습된 걸음 클록과 특권 입력(전역 발 위치, 각 발 주변의 높이 맵, 발끝 거리 측정기)을 받는 크리틱은 모두 시뮬레이션에서 어려운 지형 설정의 성공률을 높였다.

주요 결과

• 하드웨어에서 Cassie는 높은 단일 블록, 계단, 무작위 블록, 0.5 m 단차(다리 길이의 약 60%)를 최대 1 m/s의 속도로 건넜으며, 사람이 트레드밀 위로 블록을 밀어 넣는 동안에도 속도와 방향을 유지했다.
• 시뮬레이션에서의 높이 맵 재구성 오차(MAE): LSTM 2.806 cm, 트랜스포머 4.221 cm, MLP 4.932 cm, 로봇 상태 없는 LSTM 4.448 cm.
• 폐루프 시뮬레이션에서 모든 높이 맵 예측기는 비슷한 성공률을 보였지만, LSTM 예측기에서 발 충돌 에피소드와 충돌로 인한 종료가 가장 적었다.
• 로봇에서 깊이 스트림은 90 FPS로 실행되었고, 높이 맵 추론만으로는 Jetson Orin Nano에서 200 Hz로 실행되었으며, 예측기와 정책 사이의 종단 간 지연은 최대 20 ms로 측정되었다.
• 시뮬레이션 제거 실험(지형 모드당 1000 에피소드)에서 학습된 클록이 없거나 특권 크리틱이 없는 정책은 어려운 지형에서 성공률이 뚜렷이 낮았고, 블라인드 정책이 가장 나빴다.

한계

• 전방을 향한 카메라 하나만 사용하므로, 능선, 계단, 블록 지형에서의 속도 지령은 뒤로 걷기와 옆으로 걷기를 제외한다.
• 자기중심 카메라는 로봇 바로 아래의 지면을 볼 수 없으므로, 발밑 지형은 정책이 이미 본 것으로 처리해야 한다.
• 하드웨어 결과는 정성적으로만 제시된다(실험실의 나무 블록, 계단, 트레드밀, 제출 영상). 논문은 실제 환경 성공률을 제시하지 않는다.
• 학습 및 평가 지형은 절차적으로 생성된 다섯 가지 유형(평지, 언덕, 블록, 능선, 계단)으로 제한된다.
• 발 충돌 페널티는 소프트 제약으로만 작용하므로, 정책이 넘어지지 않기 위해 이를 위반할 수 있다.

분야에 미친 영향

IEEE ICRA 2024 Best Paper Award in Cognitive Robotics 최종 후보에 올랐으며 인용 수는 98회다. 논문은 공개된 코드, 데이터, 하드웨어 설계를 링크하지 않는다.

초록

이족 보행을 위한 강화 학습(RL)은 최근 고유수용성 감각만으로 중간 정도의 지형에서 강건한 걸음걸이를 보여 주었다. 그러나 이런 블라인드 제어기는 로봇이 국소 지형을 예측하고 그에 적응해야 하는 환경에서는 실패할 것이며, 이를 위해서는 시각 인식이 필요하다. 본 논문에서는 이족 로봇이 지령된 이동 속도와 방향을 유지하면서 국소 지형에 반응할 수 있게 하는 완전 학습 기반 시스템을 제안한다. 우리의 접근법은 먼저 로봇의 국소 좌표계로 표현된 높이 맵을 사용해 시뮬레이션에서 제어기를 학습한다. 다음으로 시뮬레이션에서 데이터를 수집해 높이 맵 예측기를 학습하는데, 그 입력은 깊이 이미지와 로봇 상태의 이력이다. 우리는 적절한 도메인 무작위화를 적용하면 이 접근법이 명시적인 자세 추정 없이, 그리고 실제 데이터를 이용한 미세 조정 없이 성공적인 sim-to-real 전이를 가능하게 함을 보인다. 우리가 아는 한, 이는 어려운 지형에서의 시각 기반 이족 보행에 대한 sim-to-real 학습의 첫 사례이다.

링크

• arXiv 2309.14594: https://arxiv.org/abs/2309.14594
• DOI 10.1109/ICRA57147.2024.10611621: https://doi.org/10.1109/ICRA57147.2024.10611621
• PDF: https://arxiv.org/pdf/2309.14594v2