Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

저자: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

다리형 로봇을 위한 하나의 RL 정책이 위치 및 힘 명령을 받고 관절 이력으로부터 외력을 추정하여, 힘 센서 없이 순응 제어와 힘 인식 모방을 제공한다.

중요한 이유

위치 추적, 힘 제어, 힘 추적, 임피던스 제어가 명령 선택만으로 하나의 정책에서 나오며, 모드별 제어기나 재학습이 필요 없다. 힘이 고유 감각으로부터 추정되므로, 힘 센서가 없는 다리형 로봇에서도 접촉 정보를 담은 시연을 수집할 수 있다.

문제

접촉이 많은 로코-매니퓰레이션은 접촉력과 로봇 위치를 함께 모델링해야 하지만, 다리형 매니퓰레이터에는 보통 힘 감지 하드웨어가 없다. RL 전신 제어기는 대부분 정밀한 위치 제어에 의존하고, 대규모 모방 데이터셋은 궤적만 기록한다. 저자들은 그러한 궤적만의 데이터로는 칠판 닦기 같은 기본적인 접촉 작업조차 충분하지 않음을 보인다.

제안 방법

저자들은 엔드 이펙터의 거동을 단순화된 임피던스 법칙 x_target = x_cmd + (F_ext + F_cmd − F_react)/K로, 베이스의 거동을 이에 상응하는 속도 형식으로 모델링한 뒤, Isaac Gym에서 무작위로 샘플링한 위치, 속도, 힘 명령과 최대 60 N의 외부 외란력으로 하나의 PPO 정책을 학습시킨다. 정책은 32 스텝의 관측 이력을 인코딩하고, 상태 추정기로 외력, 엔드 이펙터 위치, 베이스 속도를 예측하며, PD 제어기를 위한 관절 위치 목표를 출력한다. 원격 조작 중에는 추정된 힘이 RGB 이미지 및 로봇 상태와 함께 기록되며, 확산 기반 모방 정책이 저수준 정책을 위한 위치 명령과 힘 명령을 모두 출력하도록 학습한다.

핵심 통찰

• 위치 제어, 힘 제어, 임피던스 제어, 힘 추적, 위치/힘 하이브리드 제어는 모두 위치 명령과 힘 명령을 설정함으로써 하나의 방정식에서 도출된다. 모드별 추가 학습은 필요 없다.
• 2단계 커리큘럼(먼저 전신 도달과 보행, 다음으로 무작위 힘 명령과 외란)이 단일 단계보다 더 안정적으로 학습되었다.
• 순수 위치 기반 전신 제어보다 낮은 PD 게인은 힘 추정을 개선했지만, 게인이 너무 낮으면 위치 추적 정확도가 떨어졌다.
• 베이스에서는 외력이 속도를 통해 보상된다. 속도 명령의 반대 방향으로 밀린 G1 휴머노이드는 멈추고 몸을 기울이며, B2는 명령이 0일 때 발로 차이면 앞으로 걸어간다.
• 추정된 힘은 시각 정보가 쓸모없는 곳에서 가장 도움이 된다. 예를 들어 스트로크가 3 mm인 푸시 오픈 캐비닛이나, 작업 중 가려지는 서랍 앞면이 그렇다.

주요 결과

• 힘 인식 모방 대 힘을 사용하지 않는 동일 파이프라인(작업당 50회 시도, Table A.3): wipe-blackboard 0.58 대 0.22, open-cabinet 0.70 대 0.36, close-cabinet 0.72 대 0.30, open-drawer-occlusion 0.76 대 0.30으로, 평균 약 39.5% 높은 성공률.
• 초록과 Section 4.2는 39.5%의 향상을 네 가지 작업에 귀속시키지만, 서론의 기여 목록은 세 가지 작업이라고 한다.
• 시뮬레이션: 엔드 이펙터 추적 오차는 일치하는 힘 명령의 유무와 관계없이 대부분 0.1 m 이내로 유지되며, 엔드 이펙터 위치 추정 오차는 모든 축에서 0.05 m 이내로 유지된다.
• 0 N에서 60 N까지의 실제 로봇 힘 제어를 다섯 개의 엔드 이펙터 위치에서 동력계로 측정: 평균 오차 10 N 이내. 여섯 단계에 걸친 힘 추정: 오차 5–10 N. Y축과 Z축은 Unitree Z1 하드웨어의 한계로 40 N까지만 시험했다.
• 엔드 이펙터에 2.5 kg 덤벨을 달았을 때 25 N의 상향 힘 명령은 덤벨을 제자리에 유지한다. 명령이 없으면 엔드 이펙터가 떨어진다.
• 시연: wipe-blackboard에 궤적 50개(학습 30k 스텝), 캐비닛 및 서랍 작업마다 에피소드 30개(20k 스텝).

한계

• 힘 추정 정확도는 고주파 상호작용에서, 그리고 로봇 작업 공간의 가장자리에서 떨어진다.
• 축에 따라, 특히 Y축에서 힘 정확도에 sim-to-real 격차가 남아 있으며, 저자들은 이를 액추에이터 동역학과 접촉 모델링의 불일치 탓으로 본다.
• 힘은 단일 상호작용 지점에서 추정되며, 엔드 이펙터와 베이스는 독립적으로 다뤄진다. 다중 지점 및 전신 힘 상호작용은 향후 과제로 남겨 두었다.
• 임피던스 모델은 감쇠 항과 관성 항을 생략하므로, 닦기나 줄다리기 같은 준정적 작업에 적합하다. 동적인 기술에는 더 높은 제어 주기와 속도 및 가속도 항이 필요할 것이다.
• B2 무선 컨트롤러를 사용한 원격 조작 데이터 수집은 느려서, 닦기 시도당 약 20 s, 캐비닛 시도당 약 10 s가 걸렸다.

분야에 미친 영향

이 논문은 CoRL 2025 Best Paper Award를 받았으며 인용 횟수는 35회이다. 프로젝트 웹사이트 unified-force.github.io를 안내하지만, 논문 본문에는 코드 공개가 명시되어 있지 않다.

초록

로봇의 로코-매니퓰레이션(loco-manipulation)은 환경과의 접촉이 많은 상호작용을 수반하는 경우가 많아, 접촉력과 로봇 위치를 함께 모델링해야 한다. 그러나 최근의 시각-운동 정책은 위치 제어나 힘 제어 중 하나의 학습에만 집중하고 둘의 공동 학습은 간과하는 경우가 많다. 우리는 힘 센서에 의존하지 않고 학습되며 힘 제어와 위치 제어를 함께 모델링하는, 다리형 로봇을 위한 최초의 통합 정책을 제안한다. 위치 명령과 힘 명령의 다양한 조합을 외부 외란력과 함께 시뮬레이션함으로써, 우리는 강화 학습을 사용하여 과거 로봇 상태로부터 힘을 추정하고 위치 및 속도 조정을 통해 이를 보상하는 정책을 학습한다. 이 정책은 위치 추적, 힘 인가, 힘 추적, 순응적 상호작용을 포함하여, 다양한 힘 및 위치 입력 아래에서 폭넓은 매니퓰레이션 행동을 가능하게 한다. 또한 우리는 학습된 정책이 힘 추정 모듈을 통해 필수적인 접촉 정보를 반영함으로써 궤적 기반 모방 학습 파이프라인을 향상시키며, 접촉이 많은 네 가지 까다로운 매니퓰레이션 작업에서 위치 제어 정책보다 대략 ∼39.5% 높은 성공률을 달성함을 보인다. 사족 매니퓰레이터와 휴머노이드 로봇 모두에서의 실험은 다양한 시나리오에서 제안한 정책의 다재다능함과 강건성을 검증한다.

링크

• arXiv 2505.20829: https://arxiv.org/abs/2505.20829
• PDF: https://raw.githubusercontent.com/mlresearch/v305/main/assets/zhi25a/zhi25a.pdf
• 프로젝트 페이지: https://unified-force.github.io/