Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models

저자: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

접촉 동역학을 RL처럼 샘플링으로, 또는 로그 장벽으로 해석적으로 평활화하면 유용한 기울기를 얻을 수 있으며, 볼록 준동역학 모델과 결합하면 RRT가 정교한 조작 작업을 약 1분 안에 계획한다.

중요한 이유

이 방법은 접촉이 많은 작업에서 강화 학습 정책을 학습시키는 것에 대한 온라인 모델 기반 대안을 제공한다. 손안 회전, 펜 놓기, 벽에 대고 접시 집어 올리기, 문 열기에 대한 계획이 CPU에서 1분 정도 만에 생성된다. 저자들은 이를 몇 시간에서 며칠에 이르는 오프라인 계산에 의존하는 RL 도구와 대비하며, 자신들의 플래너가 환경과 작업에 대해 일반화 가능하다고 설명한다.

문제

접촉을 거치는 모델 기반 계획에는 세 가지 장애물이 있다. 접촉 모드의 수가 폭증하고(3D 손안 조작에서는 수조 개에 이를 수 있다), 접촉 동역학은 강성이 크고 매끄럽지 않아 기울기가 폭주하거나 급변하며, 계획 문제는 비볼록이다. 강화 학습은 접촉 모드를 샘플링하고 평균하여 접촉이 많은 조작을 다루지만, 몇 시간에서 며칠 단위로 측정되는 오프라인 계산에 의존한다. 기존의 접촉용 샘플링 기반 플래너는 접촉 모드를 명시적으로 열거하거나 샘플링하므로 접촉 수가 늘어날수록 확장성이 나쁘다.

제안 방법

저자들은 먼저 무작위 평활화(RL처럼 샘플링하고 평균하는 방식)와 해석적 평활화가 같은 매끄러운 대리 모델의 국소 선형 모델을 계산하며, 단순한 시스템에서는 동등함을 보인다. 이어서 Anitescu의 마찰 완화를 적용한 2차 원뿔 계획 문제로 정식화된 볼록·준동역학·미분 가능 접촉 모델 CQDC를 구축하는데, 그 기울기는 KKT 조건에서 얻으며 로그 장벽 완화로 해석적으로 평활화된다. 마지막으로 평활화된 선형화로 구성한 국소 마할라노비스 거리 척도와 확장 단계를 사용해 RRT를 실행하고, 로봇을 다시 접촉 상태에 놓는 접촉 샘플링 단계를 추가하며, 얻은 경로를 반복 MPC와 지름길 처리로 정제한다.

핵심 통찰

무작위 평활화(RL이 사용하는 방식)와 해석적 평활화는 같은 평활화된 동역학의 국소 선형 모델을 계산하는 두 가지 방법이며, 단순한 시스템에서는 동등하고 복잡한 예제에서도 비슷한 성능을 보였다.
로그 장벽 완화를 통한 해석적 평활화는 선형화당 한 번의 풀이만 필요하므로, 100개 샘플을 평균하는 무작위 평활화보다 빠르게 실행되었다.
준동역학 모델은 속도와 과도 동역학을 제거하여 상태를 절반으로 줄이고 훨씬 큰 시간 간격을 허용하므로, 각 선형화가 플래너에게 장기적 거동에 대해 더 많은 정보를 준다.
평활화된 선형화로 구성한 국소 마할라노비스 거리 척도 덕분에 RRT가 접촉 도달 가능성을 반영할 수 있으며, 수작업으로 조정한 전역적으로 균일한 가중 유클리드 척도는 성능이 훨씬 나빴다.
접촉 샘플링은 로봇의 위치를 다시 잡아야 하는 작업(평면 밀기, 평면 손, Allegro 손안 회전)에는 필수적이었지만 접시 집어 올리기나 펜 놓기에는 그렇지 않았다.

주요 결과

반복 MPC, 10회 반복과 5회 시행에서의 최소 비용: Allegro 손안 회전은 해석적 평활화 5.78 대 정확한(평활화하지 않은) 기울기 44.68, 평면 밀기는 11.74 대 31.64.
접촉 모드 변화가 적은 평면 손 작업에서는 정확한 기울기도 좋은 성능을 보였다(비용 18.49 대 해석적 26.55, 1차 무작위 17.87).
32개 스레드에서 100개 샘플을 사용할 때, 반복 MPC에서 무작위 평활화는 해석적 평활화보다 2~3배 느렸다(Allegro 회전: 40.07 s 대 19.59 s).
해석적 평활화를 쓴 RRT 1000회 반복에는 3.25 s(평면 밀기), 31.01 s(Allegro 회전), 24.84 s(펜 놓기), 12.42 s(문 열기), 117.16 s(접시 집어 올리기)가 걸렸고, 1차 무작위 평활화는 7.50 s에서 161.64 s가 걸렸다.
모든 RRT 작업에서 거리 척도와 확장에 정확한 선형화를 사용하면 어떤 평활화 방식보다도 목표 거리와 공간 커버리지가 훨씬 나빴다.
모든 실험은 AMD Threadripper 2950 CPU(16코어, 32스레드)와 32 GB RAM을 갖춘 데스크톱 한 대에서 실행되었다.

한계

접촉 샘플링은 로봇을 구성 사이에서 순간 이동시키므로 물리적이지 않으며, 움직인 손가락 없이도 물체가 정적 평형을 유지하는 경우(예: 위를 향한 손바닥 위에 놓인 공)에만 작동하고 아래를 향한 손에는 작동하지 않는다.
큰 확장 단계는 쿨롱 마찰에 대한 Anitescu의 볼록 완화로 인해 비물리적 아티팩트를 만들므로, 물리적으로 현실적인 궤적을 얻으려면 반복 MPC와 지름길 처리로 정제하는 과정이 필요하다.
준동역학 가정은 매우 동적인 거동에서는 성립하지 않는다.
트리 성장이 여전히 막힐 수 있으며, 하나의 부모에서 실패한 자식 노드가 많이 생겨 "빗자루" 모양을 이룬다.
이 버전의 모든 결과는 시뮬레이션(Drake로 구현)에서 얻었으며, 실시간 계획은 향후 과제로 언급된다.

분야에 미친 영향

이 논문은 T-RO 2024 King-Sun Fu Memorial Best Paper Award(우수 언급)를 받았으며 인용 수는 210회이다. 생성된 계획의 동영상을 공개하며, 이 버전에는 코드 링크가 없다.

초록

접촉이 많은 조작 환경에서 강화 학습(RL)이 거둔 경험적 성공은 모델 기반 관점에서 이해해야 할 부분을 많이 남기는데, 모델 기반 관점에서 핵심 어려움은 흔히 (i) 접촉 모드의 폭증, (ii) 강성이 크고 매끄럽지 않은 접촉 동역학과 그로 인해 폭주하거나 불연속적인 기울기, (iii) 계획 문제의 비볼록성에 기인한다고 여겨진다. RL의 확률적 특성은 접촉 모드를 효과적으로 샘플링하고 평균함으로써 (i)과 (ii)를 해결한다. 반면 모델 기반 방법은 접촉 동역학을 해석적으로 평활화하여 같은 과제에 대응해 왔다. 우리의 첫 번째 기여는 단순한 시스템에 대해 두 방법의 이론적 동등성을 확립하고, 여러 복잡한 예제에서 정성적·경험적 동등성을 제시하는 것이다. (ii)를 더 완화하기 위한 두 번째 기여는 볼록하고 미분 가능한 준동역학 접촉 동역학 정식화로, 두 평활화 방식 모두에 적용할 수 있으며 실험을 통해 접촉이 많은 계획에 매우 효과적임이 입증되었다. 마지막 기여는 (iii)을 해결하는 것으로, 접촉 모드를 평활화로 추상화하면 고전적인 샘플링 기반 모션 계획 알고리즘이 전역 계획에 효과적일 수 있음을 보인다. 일련의 어려운 접촉이 많은 조작 작업에 우리 방법을 적용하여, 효율적인 모델 기반 모션 계획이 훨씬 적은 계산으로 RL에 필적하는 결과를 얻을 수 있음을 보여준다. 동영상: https://youtu.be/12Ew4xC-VwA

링크

arXiv 2206.10787: https://arxiv.org/abs/2206.10787
DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
PDF: https://arxiv.org/pdf/2206.10787v1