Perceptive pedipulation with local obstacle avoidance

저자: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

ANYmal을 위한 종단 간 RL 정책으로, 2.5D 높이 스캔과 의도적인 발 접촉을 허용하는 스위치를 사용하여 몸 전체로 장애물을 피하면서 발 위치 명령을 추종한다.

중요한 이유

제어 인터페이스는 단일 발 위치 명령으로 유지되므로, 사람 조작자나 상위 플래너가 몸 전체의 충돌 없는 동작을 계획하지 않고도 장애물 근처에서 이를 사용할 수 있다. 이는 전용 팔 없이 사족 로봇에 조작 능력을 부여하는데, 저자들은 전용 팔이 질량과 복잡성을 늘리고 가반하중을 줄인다고 지적한다.

문제

이전의 페디퓰레이션 정책은 고유 감각만으로 발 위치 명령을 추종하므로, 장애물을 피하지 못하고 길을 막는 모든 것과 충돌한다. 장애물을 인식하지 못하는 정책 위에 장애물을 인식하는 플래너를 두어도 몸의 나머지 부분은 여전히 충돌할 수 있으며, 이를 막는 데 필요한 큰 안전 여유 때문에 좁은 공간에서의 작업이 불가능해진다.

제안 방법

NVIDIA Isaac Lab에서 학습한 단일 RL 정책이 고유 감각, 0.1 m 해상도의 2.4 m × 1.6 m 높이 스캔, 발 위치 명령을 입력받아 관절 위치 오프셋을 출력한다. 학습은 세 단계로 진행된다. 먼저 명령 공간 커리큘럼으로 장애물 없는 페디퓰레이션을 학습하고, 다음으로 다섯 가지 시나리오에서 움직일 수 있는 직육면체 장애물을 두고 접촉 발생과 접촉력 모두에 벌점을 주며, 마지막으로 sim-to-real 전이를 위해 고도 지도 잡음을 추가한다. 불리언 접촉 스위치가 오른쪽 앞발의 접촉에 벌점을 줄지 결정하므로, 같은 정책이 장애물을 피하거나 밀 수 있다.

핵심 통찰

• 접촉 발생과 접촉력 크기를 모두 벌점으로 주면 두 가지 편법이 막힌다. 최소한의 힘으로 장애물을 미는 것과, 짧고 강한 힘으로 장애물을 밀쳐 내는 것이다.
• 직육면체가 있는 다섯 가지 정적 학습 시나리오만으로 정책은 보지 못한 형태와 움직이는 장애물을 피할 수 있었다. 저자들은 정책이 물체 형태를 인식하기보다 점유된 각 높이 스캔 셀을 피해야 할 공간의 기둥으로 취급한다고 추론한다.
• 정적 지형 장애물 대신 움직일 수 있는 장애물을 쓰면 학습 시간이 더 들지만, 접촉 스위치가 허용할 때 정책이 물체를 미는 법을 배울 수 있다.
• 장애물 없는 페디퓰레이션을 먼저 학습하고 나중에 장애물을 추가하면 학습이 빨라진다.
• 정책은 궤적이 아니라 점을 추종하므로, 등 뒤로 뻗으면 나머지 경로를 따라가기에 좋지 않은 자세로 남을 수 있다.

주요 결과

• 1024개의 샘플링된 명령에 대한 자유 공간 추종: 접촉 스위치가 0(회피)일 때 평균 오차 0.057 m, 1(접촉 허용)일 때 0.047 m.
• 시뮬레이션에서 모퉁이 너머로 뻗기: 장애물을 인식하지 못하는 이전 정책은 모퉁이에 부딪혀 넘어졌고, 인식 정책은 더 긴 경로를 택해 충돌을 피했다.
• 단일 장애물 시뮬레이션 테스트: 네 번의 테스트 모두에서 자기 충돌이나 환경 충돌이 없었다. 장애물을 낮추자 발은 장애물을 돌아가는 대신 그 위로 넘어갔다.
• 장애물 네 개: 1.3 m 간격에서 정책은 베이스 회전을 멈추고 등 뒤로 뻗었으며, 베이스 뒤쪽에 약한 힘의 충돌이 일부 있었다. 시계 방향 명령 경로에서는 추종이 나빠졌다.
• ANYmal 하드웨어에서 명령이 판지 상자를 관통해 지나갈 때 발은 상자를 돌아갔으며(다섯 번 반복), 학습에서 보지 못한 둥근 금속 통도 돌아갔다.
• 하드웨어에서의 접촉 스위치: 스위치를 1로 설정하자 로봇은 명령에 도달하기 위해 장애물을 밀어 넘어뜨렸으며, 최종 추종 오차는 0.073 m였다.

한계

• 저자들은 베이스 바로 아래의 장애물과 학습에서 보지 못한 좁은 공간 등 일부 예외 상황을 제어기가 잘 처리하지 못한다고 밝힌다.
• 2.5D 높이 스캔은 2.5D 지도에 들어맞고 격자 간격보다 큰 구조물만 표현한다. 저자들은 3D 표현이 필요하다고 말한다.
• 옆에서 다가오는 동적 장애물은 로봇의 오른쪽에서만 회피되었으며, 반응 속도는 고도 지도 갱신 속도에 의해 제한된다.
• 시뮬레이션에서 정책은 제한된 인식 시야나 베이스를 회전할 공간 부족 때문에 때때로 갇혔다.
• 페디퓰레이션하는 발의 접촉을 피하면 자유 공간 추종 정확도가 약간 떨어진다(0.057 m 대 0.047 m).

분야에 미친 영향

Humanoids 2024 Best Interactive Presentation Award 최종 후보에 올랐으며, 인용 수는 12회다. 논문은 코드, 학습된 정책 또는 데이터를 링크하지 않는다.

초록

페디퓰레이션(pedipulation)은 다리 로봇의 발을 이동 조작에 활용하여 전용 로봇 팔의 필요를 없앤다. 이전 연구들은 장애물을 인식하지 못하는 과제 특화 페디퓰레이션 기술을 선보였지만, 환경 속 정적 및 동적 장애물을 고려하지 못한다. 이 한계를 해결하기 위해, 우리는 발 위치 명령을 추종하면서 동시에 장애물을 회피하는, 장애물을 인식하는 전신 정책을 학습시키는 강화학습 기반 접근법을 소개한다. 시뮬레이션에서 단 다섯 가지의 서로 다른 정적 시나리오로만 정책을 학습했음에도, 정책이 장애물의 수와 종류가 다른 미지의 환경으로 일반화됨을 보인다. 일련의 시뮬레이션 실험으로 방법의 성능을 분석하고, 학습된 정책을 사족 로봇 ANYmal에 성공적으로 배치하여 정적 및 동적 장애물을 피해 이동하면서 발 명령을 따르는 능력을 입증한다.

링크

• arXiv 2409.07195: https://arxiv.org/abs/2409.07195
• DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
• PDF: https://arxiv.org/pdf/2409.07195v1