Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

저자: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

RRT로 생성한 시연은 행동 엔트로피가 높아 행동 복제에 해롭다. 더 일관된 플래너 데이터로 접촉이 많은 작업용 확산 정책을 학습하면 하드웨어로 제로샷 전이된다.

중요한 이유

이 논문은 데이터의 양뿐 아니라 플래너의 설계가 계획된 시연으로부터의 행동 복제가 통하는지를 결정한다는 것을 보여 준다. RRT가 상태를 약간 더 잘 커버했음에도, 엔트로피가 낮은 데이터가 확률적으로 완전한 RRT 데이터를 이겼다. 이 논문은 현재의 원격 조작 인터페이스로는 쉽게 시연할 수 없는, 팔 전체 접촉과 다지 협응이 필요한 작업의 학습 데이터를 얻는 방법을 제시한다.

문제

행동 복제는 주로 사람이 원격 조작으로 시연할 수 있는 곳에서 성공했지만, 일반적인 원격 조작 인터페이스는 엔드 이펙터만 추적하므로 팔 전체 접촉이나 다지 협응이 필요한 시연은 수집하기 어렵다. 데이터 원천으로서의 강화 학습은 제약을 보상 페널티로 처리하므로 보상 설계와 sim-to-real 전이를 복잡하게 만든다. 이 논문은 모델 기반 접촉 플래너가 이러한 작업의 학습 데이터를 어떻게 생성해야 하는지 묻는다.

제안 방법

평활화된 준동역학 접촉 모델을 사용하는 플래너가 계획을 제안하고, 이 계획은 접촉 평활화가 없는 물리 시뮬레이터에서 청크 단위로 재실행되어 상태-행동 시연을 생성한다. 이후 도달한 상태를 목표로 다시 레이블링한다(사후 목표 재레이블링). 이 데이터로 목표 조건 확산 정책(FiLM 조건부 1D U-Net)을 학습한다. 플래너는 일관성을 위해 변경된다. 양팔 작업에는 탐욕적 탐색을, 손안 작업에는 고정된 프리미티브와 미리 계산된 파지를 사용하여 큐브의 24가지 표준 방향에 걸친 희소 확률적 로드맵을 사용한다.

핵심 통찰

RRT는 트리를 확장할 때마다 하위 목표를 샘플링하며, 이로 인해 행동 엔트로피가 높아 특히 데이터가 적을 때 학습하기 어려운 시연이 만들어진다.
더 나은 상태 커버리지가 더 나은 정책으로 이어지지는 않았다. RRT 데이터는 상태를 약간 더 많이 커버했지만 탐욕적 플래너 데이터보다 확연히 나쁜 정책을 학습시켰다.
사후 목표 재레이블링(hindsight goal relabelling)은 준최적이거나 실패한 시연을 실제로 도달한 상태에 대한 유효한 학습 쌍으로 바꾼다.
큐브 작업에서는 주 정책과 최종 조정 정책을 결합한 하이브리드가 데이터 불균형에 대응하여, 단일 통합 정책보다 시뮬레이션 성공률을 약 10% 높였다.
짧은 호라이즌은 행동 모드 간 전환으로 인해 움직임이 끊기므로 긴 행동 호라이즌(40 및 60 스텝)을 사용했다.

주요 결과

시뮬레이션의 IiwaBimanual(초기 위치 100개): 탐욕적 플래너 데이터는 시연 100개로 99%의 성공률에 도달하여 Contact-RRT 데이터의 44%를 앞선다. 시연 500개, 1,000개, 5,000개에서는 98%, 99%, 100% 대 63%, 88%, 84%이다.
시뮬레이션, 초기 자세 100개: 하이브리드 정책으로 AllegroHand-Easy 82%, AllegroHand-Hard 68%이며, 통합 정책은 74%와 57%이다. IiwaBimanual은 99%이다.
하드웨어 AllegroHand(하이브리드 정책): 각 변형에서 24회 중 15회 성공(62.5%)했으며, 성공한 시도의 방향 오차는 13.7 ± 5.9°(Easy)와 15.5 ± 5.2°(Hard)이다.
하드웨어 IiwaBimanual: 20회 중 18회 성공(90%). 실패한 시도는 약 15°의 방향 오차로 끝났으며, 이는 0.2 rad(11.5°) 임계값을 약간 넘는다.
모델 불일치(실제 물체는 1.25 kg, 지름 0.59 m, 시뮬레이션은 1.0 kg, 0.6 m)에도 불구하고 도메인 랜덤화 없이 제로샷으로 전이되었다.

한계

정책은 학습 데이터에 없는 분포 밖 상태에 반응하지 못하는 경우가 많은데, 이는 미리 계산된 프리미티브의 결과다. 이런 일은 하드웨어에서 더 자주 발생한다.
플래너가 임의의 시스템 구성에서 해를 찾을 수 없기 때문에 DAgger 방식의 보정을 적용하기 어렵다.
IiwaBimanual 정책은 때때로 시계 방향과 반시계 방향 회전 사이를 오가며 떨기 때문에 필요 이상으로 오래 걸리는 경우가 많다. AllegroHand 정책은 때때로 필요 이상으로 긴 프리미티브 시퀀스를 사용한다.
통합 AllegroHand 정책을 위한 최적의 데이터 혼합 비율은 미해결로 남아 있으며, 끊김을 줄이기 위해 이전 행동 예측으로 추론을 웜 스타트하는 것은 향후 과제로 남겨 두었다.
학습이나 데이터 생성 중에 물체 또는 로봇의 형상이나 마찰에 대한 도메인 랜덤화는 사용되지 않았다.

분야에 미친 영향

이 논문은 RA-L Best Paper Award를 수상했으며(RA-L 2026으로 기재), 인용 횟수는 23회이다. 하드웨어 실험 영상(https://youtu.be/CxgjJmiiEhI)을 공개하며, 논문에는 코드나 데이터셋 공개가 언급되어 있지 않다.

초록

로봇 매니퓰레이션에서 행동 복제(BC)의 엄청난 성공은 주로 사람의 원격 조작을 통해 시연을 효과적으로 수집할 수 있는 작업에 국한되어 왔다. 그러나 여러 접촉의 복잡한 협응이 필요한 접촉이 많은 매니퓰레이션 작업의 시연은 현재 원격 조작 인터페이스의 한계로 인해 수집하기 어렵다. 우리는 접촉이 많은 정교한 매니퓰레이션 작업을 위한 학습 데이터를 생성하는 데 모델 기반 계획과 최적화를 어떻게 활용할 수 있는지 연구한다. 우리의 분석은 rapidly exploring random tree(RRT) 같은 널리 쓰이는 샘플링 기반 플래너가 동작 계획에는 효율적이지만, 바람직하지 않게 엔트로피가 높은 시연을 생성한다는 것을 보여 준다. 이에 따라 우리는 해의 다양성을 유지하면서 시연의 일관성을 우선시하도록 데이터 생성 파이프라인을 수정한다. 확산 기반 목표 조건 BC 접근법과 결합된 우리의 방법은 접촉이 많은 두 가지 까다로운 매니퓰레이션 작업에 대해 효과적인 정책 학습과 하드웨어로의 제로샷 전이를 가능하게 한다.

링크

arXiv 2412.09743: https://arxiv.org/abs/2412.09743
DOI 10.1109/LRA.2025.3564701: https://doi.org/10.1109/LRA.2025.3564701
PDF: https://arxiv.org/pdf/2412.09743v1