Robust Ladder Climbing with a Quadrupedal Robot

저자: Dylan Vogel, Robert Baines, Joseph Church, Julian Lotzer, Karl Werner, Marco Hutter · IROS 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

갈고리형 엔드 이펙터와 교사-학생 RL 정책 덕분에 ANYmal D가 70°–90° 기울어진 사다리를 제로샷으로 오르며, 하드웨어 성공률은 90%, 평균 속도는 0.44 m/s이다.

중요한 이유

사다리는 산업 인프라에서 흔하며 사다리 추락은 주요 산업 재해다(논문은 미국에서 연간 약 500,000건의 사다리 관련 부상이 발생한다는 추정치를 인용한다). 따라서 사다리를 오를 수 있는 사족 로봇은 이전에 닿지 못하던 곳까지 점검 범위를 넓힌다. 이 연구는 또한 정책과 함께 학습된 발 모양의 작은 변화가 노이즈와 외란 아래에서 불안정한 오르기와 신뢰할 수 있는 오르기를 가른다는 것을 보여 준다.

문제

사족 로봇은 산업 점검에 사용되지만 사다리를 안정적으로 오르지 못해 위험한 장소에 들어갈 수 없으며, 그 작업은 사람의 몫으로 남는다. 공 모양이나 평평한 발은 가로대에 고정될 수 없고, 오르기는 가파른 경사에서 전신 협응을 필요로 하며, 사다리는 길이, 폭, 가로대 간격, 가로대 형상, 경사가 제각각이다. 주로 휴머노이드가 수행한 이전의 로봇 사다리 오르기는 외란 없는 수직 사다리만 다루었고 매우 느렸다(어느 휴머노이드는 26 mm/h, 사족 로봇은 가로대당 최대 2분).

제안 방법

저자들은 ANYmal D에 네 개의 갈고리형 엔드 이펙터(알루미늄 코어, 3D 프린팅 외피, 둥근 가로대에 안착하는 오목한 면, 밀고 당기기 위한 돌출부)를 장착하고 LeggedGym에서 위치 명령 추적 정책을 학습시킨다. Interior-point Policy Optimization으로 학습한 교사 정책은 특권 상태와 높이 스캔을 사용한다. 순환 신념 인코더를 갖춘 학생 정책은 노이즈가 섞인 고유 감각, IMU 이력, 추정된 사다리 상태와 자세만 사용하도록 증류된다. 학생 정책은 50 Hz로 관절 위치 목표를 출력하고, 이는 400 Hz PD 제어기로 추적되며, 제로샷으로 배포된다.

핵심 통찰

불확실성 아래에서는 발 모양이 중요하다. 노이즈가 없으면 시뮬레이션에서 공 모양 발과 갈고리 발 모두 99%가 넘는 성공률을 보이지만, 노이즈와 밀기가 있으면 갈고리는 96%, 공 모양 발은 81%에 그친다.
갈고리 덕분에 로봇은 질량 중심이 지지 삼각형 밖에 있는 상태로 장력을 받으며 매달릴 수 있고, 외란을 받으면 가로대를 아래로 미는 동작에서 당기는 동작으로 전환한다.
원시 IMU 이력이 ANYmal 상태 추정기의 베이스 속도를 대체했는데, 이 추정기는 오르는 동안 최대 1 m/s의 선속도 오차를 보였다.
샘플링된 명령 시간을 버리고 밀집 추적 보상과 최대 10 s의 에피소드를 사용하자 성공률이 향상되었고, 미끄러진 뒤 다시 시도하는 행동이 창발적으로 나타났다.
하나의 정책이 걷기와 오르기를 모두 처리하며, 창발적 보행은 사람의 사다리 오르기와 닮았다. 뒷다리가 위쪽 추진력을 내고 앞다리는 주로 안정화를 담당한다.

주요 결과

3,072개 에이전트, 노이즈, 무작위 밀기를 사용한 50가지 사다리 구성의 시뮬레이션: 평균 성공률은 갈고리 96%, 공 모양 발 81%이다.
원통형 가로대 다섯 개가 있는 1.8 m 사다리에서의 하드웨어 제로샷 실험: 70°에서 4회 중 4회, 80°에서 4회 중 4회, 90°에서 3회 중 2회 성공했으며, 전체 90%로 보고된다.
성공한 10가지 구성에서 평균 오르기 속도는 0.44 m/s(초당 몸길이 0.51, 표준편차 0.16 m/s)로, 이전 최신 사족 로봇보다 232× 빠르다.
80°에서의 sim-to-real 일치도: 전체 궤적에 걸친 베이스 위치 및 방향 RMSE는 11 cm와 0.18 rad이다.
로봇이 섀시 앞이나 뒤, 또는 왼쪽 앞발에 묶은 로프로 당겨지는 동안에도 오르기가 계속되었다.
학습에는 RTX 3090 한 대에서 약 4.5일이 걸렸다(교사 15,000 에포크, 학생 5,000, 병렬 환경 4,096개). 갈고리 충돌 바디로 인해 학습이 약 30% 느려졌다.

한계

세 번째 90° 시도는 로봇 베이스에 있는, 모델링되지 않은 스탠드오프가 맨 위 가로대에 부딪혀 실패했다. 저자들은 이 sim-to-real 격차 때문에 90° 시험을 중단했다.
사다리 자세와 경사는 모션 캡처 시스템에서 얻고 그 밖의 사다리 매개변수는 손으로 측정한다. 모션 캡처를 깊이 카메라 같은 센싱으로 대체하는 것은 향후 과제다.
오르기만 시연되었으며, 내려가기는 향후 과제로 명시되어 있다.
갈고리 설계는 경험적으로 선택되었으며 최적화되지 않았다.
시뮬레이션에서 갈고리의 2.75 cm 개구부보다 큰 반지름 3.5 cm의 가로대는 경사가 가파를수록 성공률을 꾸준히 떨어뜨렸다.

분야에 미친 영향

이 논문은 IROS 2025 수상 후보작(프로그램 세션 WeAT1)이었으며 인용 횟수는 25회이다. 논문과 프로젝트 웹사이트 어디에도 코드나 갈고리 설계 파일의 공개는 명시되어 있지 않다.

초록

사족 로봇은 센서 장비를 운반하고 자율 점검 플랫폼 역할을 하며 산업 환경에서 빠르게 확산되고 있다. 거칠고 고르지 않은 지형에서 바퀴형 로봇보다 다리형 로봇이 갖는 장점에도 불구하고, 이들은 산업 인프라 어디에나 있는 요소인 사다리를 아직 안정적으로 통과하지 못한다. 사다리를 통과하지 못하면 사족 로봇이 위험한 장소를 점검할 수 없고, 사람이 위험에 노출되며, 산업 현장의 생산성이 떨어진다. 본 논문에서 우리는 강화 학습 기반 제어 정책과 이를 보완하는 갈고리형 엔드 이펙터를 통해 사족 로봇의 사다리 오르기를 학습한다. 우리는 시뮬레이션에서 다양한 사다리 경사, 가로대 형상, 가로대 간격에 걸쳐 강건성을 평가한다. 하드웨어에서는 70°에서 90°에 이르는 사다리 각도에서 전체 90%의 성공률로 제로샷 전이를, 모델링되지 않은 외란 중에도 일관된 오르기 성능을, 그리고 최신 기술보다 232× 빠른 오르기 속도를 시연한다. 본 연구는 산업용 사족 로봇의 응용 범위를 일반 지형에서의 점검을 넘어 환경 내의 까다로운 인프라 요소로 확장하며, 복잡한 기술을 수행할 때 로봇 형태와 제어 정책 사이의 시너지를 부각한다. 자세한 정보는 프로젝트 웹사이트에서 확인할 수 있다: https://sites.google.com/leggedrobotics.com/climbingladders.

링크

arXiv 2409.17731: https://arxiv.org/abs/2409.17731
DOI 10.1109/IROS60139.2025.11247166: https://doi.org/10.1109/IROS60139.2025.11247166
PDF: https://arxiv.org/pdf/2409.17731v1
프로젝트 페이지: https://sites.google.com/leggedrobotics.com/climbingladders