APriCoT: Action Primitives based on Contact-state Transition for In-Hand Tool Manipulation

저자: Daichi Saito, Atsushi Kanehira, Kazuhiro Sasabuchi, Naoki Wake, Jun Takamatsu, Hideki Koike, Katsushi Ikeuchi · Humanoids 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

APriCoT은 손 안 재파지를 분리, 교차, 부착으로 구성된 네 개의 짧은 RL 프리미티브로 나누어, 시뮬레이션의 Shadow Hand Lite가 물체를 반 바퀴 돌리고 목표 파지에 도달하게 한다.

중요한 이유

학습 기반 손 안 조작의 대부분은 회전에만 보상을 주고 최종 파지를 확인하지 않는데, 최종 파지는 도구를 이후에 사용할 수 있는지를 결정한다. 논문은 접촉 상태에 따른 분해가 이 과제를 학습 가능하게 만든다는 것을 보이며, 두 개의 기발표 기준선은 여기서 실패했다. 보상이 프리미티브 간에 공유되므로 새로운 보상 설계 없이 새 전이를 추가할 수 있다.

문제

손 안 도구 조작은 손 안에서 도구를 움직이는 동시에, 예를 들어 붓기 위해 상자 입구가 막히지 않도록 쥐는 것처럼 다음 과제에 맞는 파지로 끝나야 한다. 이를 RL로 학습하기 어려운 이유는 목표 파지에 많은 접촉 상태 변화를 거친 후에야 도달하므로 보상이 희소하고, 필요한 손가락 동작이 접촉 상태에 따라 크게 달라 광범위하고 샘플 효율이 낮은 탐색을 강요하기 때문이다.

제안 방법

APriCoT은 세 가지 행동 표현(분리, 교차, 부착)으로 접촉 상태 전이 그래프를 구성하며, 쥐는 파지(prehensile grasp)를 유지하고, 최소 세 손가락이 접촉하며, 손가락이 엄지-검지-중지-약지 순서를 유지하는 상태만 허용한다. 목표 과제인 길쭉한 물체를 반 바퀴 돌려 정밀 파지로 돌아오는 작업은 각각 한 손가락을 물체 건너편으로 옮기는 네 개의 프리미티브로 나뉘며, 프리미티브마다 정책 하나, 공유된 단계별 보상 하나를 두고, 각 정책은 이전 정책의 출력 상태에서 시작한다. 정책은 교사-학생 구성으로 Isaac Gym에서 PPO로 학습되며, 학생은 명령된 관절 각도와 측정된 관절 각도로부터 물체 형상을 추론한다.

핵심 통찰

• 재파지를 접촉 상태 전이로 기술하면 하나의 길고 보상이 희소한 과제가 손가락이 비슷한 동작을 수행하는 짧은 프리미티브들로 바뀐다.
• 모든 손가락이 물체에 닿아 있는 가장 안정적인 상태에서 각 프리미티브를 시작하고 끝내면, 시뮬레이션에서 초기 상태를 샘플링하기 쉽고 정책 간 연결도 쉬워진다.
• 각 단계를 따로 학습하는 대신 분리-교차-부착 시퀀스 전체로 각 프리미티브를 학습하면, 교차 전에 손가락을 너무 높이 드는 것 같은 낭비 동작을 피할 수 있다.
• 명령된 관절 각도와 측정된 관절 각도의 차이로 학생 정책이 물체 형상을 인코딩할 수 있으며, 그 잠재 변수의 t-SNE는 형상별로 군집을 이룬다.

주요 결과

• 두 기준선 모두 과제에 실패했다. 수정한 손 안 회전 방법(Baseline A)은 물체를 회전시켰지만 원하는 파지에 도달하지 못했고, 집을 수 있는 물체용 방법(Baseline B)은 교차 중 물체를 굴리다 떨어뜨렸다.
• APriCoT은 반 바퀴 회전을 완수하고 원하는 정밀 파지에 도달했다. 서론은 다양한 형상의 물체에 대해 90%의 성공률을 보고한다.
• 강인성 시험(형상당 샘플링한 초기 상태 1,000개, 깊이 0.02-0.035 m, ε2는 ≃0에서 1)에서 IV-B절은 거의 모든 형상에서 90% 이상의 성공률을 보고하며, 학습에 사용하지 않은 형상에서도 비슷한 비율을 보였다.
• IV-B절은 또한 두꺼운 타원형 물체(큰 깊이, 높은 ε2)에서 약 75%의 성공률을 보고하며, 저자들은 이를 곡률 때문에 옆으로 미끄러지기 때문으로 본다.
• 학습은 NVIDIA RTX 3090 GPU에서 Isaac Gym의 병렬 환경 32,768개로 실행되었으며, 시뮬레이션은 120 Hz, 제어는 20 Hz였다.

한계

• 모든 실험은 시뮬레이션에서 이루어졌다. 저자들은 도메인 무작위화와 교사-학생 학습이 sim-to-real 전이에 도움이 될 것으로 기대하지만 하드웨어에서 시험하지 않았다.
• 롤 회전 같은 물체 자세는 관절 각도만으로는 감지할 수 없으며, 이를 놓치면 물체가 불안정해져 떨어질 수 있다. 저자들은 시각 정보를 추가할 계획이다.
• 접촉 상태 전이에만 집중하면 조작 후 원하는 물체 방향이 보장되지 않는다.
• 접촉 상태 전이 그래프는 수작업으로 설계되며, 저자들은 많은 작업에 걸쳐 이를 수행하는 데 노동이 많이 든다고 말한다.
• 하나의 작업(정밀 파지로 돌아오는 반 바퀴 회전, 프리미티브 네 개)만 시연된다.

분야에 미친 영향

Humanoids 2024 Best Oral Presentation Award 수상작이며 2회 인용되었다. 논문은 보상 하이퍼파라미터, 무작위화 범위, 네트워크 크기를 제시한다. 코드나 모델 공개는 명시되어 있지 않다.

초록

손 안 도구 조작은 손 안에서 도구를 조작할 뿐만 아니라(즉, 손 안 조작) 조작 후 과제에 적합한 파지를 달성하는 작업이다. 본 연구는 심층 강화 학습을 통해 손 안 도구 조작 기술을 달성하는 것을 목표로 한다. 이 기술 학습의 어려움은 이 조작이 (A) 원하는 파지를 달성하기 위해 장기적인 접촉 상태 변화를 탐색해야 하고, (B) 접촉 상태 전이에 따라 매우 다양한 동작이 필요하다는 데서 비롯된다. (A)는 성공적인 파지에 대한 보상의 희소성으로 이어지고, (B)는 RL 에이전트가 매우 다양한 행동을 학습하기 위해 상태-행동 공간 안에서 넓게 탐색해야 하므로 샘플 비효율로 이어진다. 이러한 문제를 해결하기 위해 본 연구는 Action Primitives based on Contact-state Transition(APriCoT)을 제안한다. APriCoT은 세 가지 행동 표현(분리, 교차, 부착)에 기반한 접촉 상태 전이로 작업을 기술함으로써 조작을 단기 행동 프리미티브로 분해한다. 각 행동 프리미티브에서 손가락은 짧고 유사한 행동을 수행하면 된다. 프리미티브마다 정책을 학습함으로써 (A)와 (B)에서 오는 문제를 완화할 수 있다. 본 연구는 손 안 도구 조작의 예로서 기본적인 작업에 초점을 맞춘다. 정밀 파지로 쥔 길쭉한 물체를 반 바퀴 회전시켜 초기 파지를 달성하는 작업이다. 실험 결과, 기존 연구와 달리 우리 방법은 회전과 원하는 파지 달성 모두에 성공했다. 또한 정책이 물체 형상 변화에 강인한 것으로 나타났다.

링크

• arXiv 2407.11436: https://arxiv.org/abs/2407.11436
• DOI 10.1109/Humanoids58906.2024.10769968: https://doi.org/10.1109/Humanoids58906.2024.10769968
• PDF: https://arxiv.org/pdf/2407.11436v1