A System for General In-Hand Object Re-Orientation

저자: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

교사-학생 증류, 들어 올린 자세 초기화, 중력 커리큘럼을 갖춘 모델 프리 RL이 시뮬레이션된 Shadow Hand에서 손바닥을 위나 아래로 향한 채 형상 입력 없이 2000개 이상의 물체 방향을 바꾼다.

중요한 이유

정책은 물체 형상 입력 없이 임의의 SO(3) 목표 방향에 도달하며, 저자들은 이를 가장 놀라운 발견이라고 부른다. 이는 손 안 방향 바꾸기에서 형상 인식이 예상보다 덜 중요할 수 있음을 시사한다. 손이 아래를 향하는 경우와 테이블의 도움을 받는 경우는, 손바닥이 위를 향한 손에 집중했던 기존의 학습 기반 방향 바꾸기 연구가 다루지 않은 손 구성을 다룬다.

문제

다지 손 안에서 물체의 방향을 바꾸려면 손가락과 물체의 접촉이 계속 생겼다 끊어지는 가운데 고차원 행동 공간을 제어해야 한다. 기존 방법들은 대부분 알려진 물체 모델을 가진 단순한 형상에 대해 시뮬레이션에서만 시연되었거나, 실제 로봇에서 모션 캡처 같은 추가 장비가 필요했거나, 물체 간에 일반화되지 않았으며, 거의 모두 손이 위를 향한다고 가정했다.

제안 방법

교사 정책은 2000개 이상의 EGAD 및 YCB 물체에 대해 특권 시뮬레이터 상태(물체 및 손가락 끝 속도 포함)로 PPO를 사용해 학습된 뒤, DAgger로 학생 정책들에 증류된다. 학생 정책은 관절 위치와 물체 자세를 보거나, 희소 3D 합성곱 네트워크(Sparse3D-IMPALA-Net)로 처리되는 두 대의 RGBD 카메라의 복셀화된 포인트 클라우드만 본다. 테이블 없이 아래를 향한 손의 경우, 에피소드는 별도의 물체 들어 올리기 정책의 종료 상태에서 시작하며, 중력은 커리큘럼을 통해 단계적으로 도입된다.

핵심 통찰

• 물체 형상에 접근하지 않는 정책도 처음 보는 많은 물체의 방향을 바꾼다. 손이 위를 향할 때 학습된 전략은 물체를 회전시키며 던졌다가 그 방향이 목표와 일치할 때 잡는 것이다.
• 물체와 손가락 끝 속도 같은 특권 상태는 더 좋은 정책을 더 빨리 학습시키며, 31차원 축소 상태(관절 위치, 물체 위치, 방향 차이)로의 DAgger 증류는 성공률의 대부분을 유지한다.
• 손이 아래를 향하고 지지대가 없을 때 직접 학습하면 성공률이 0%이다. 들어 올리기 정책의 종료 상태에서 에피소드를 시작하고 중력 커리큘럼을 추가하면 작업을 학습할 수 있게 된다.
• 현재와 목표 물체 포인트 클라우드 사이의 챔퍼 거리(Chamfer distance)를 추가 성공 판정으로 사용하면, 서로 다른 방향이 카메라에 똑같이 보이는 대칭 물체를 처리할 수 있다.
• 50-150 g 물체로 학습한 정책은 질량을 0.3-0.5 kg으로 바꾼 YCB 물체의 방향을 제로샷으로 약 75%의 성공률로 바꾼다.

주요 결과

• 손이 위를 향함, 전체 상태 RNN 교사(도메인 무작위화 없이 학습 및 시험): EGAD에서 성공률 95.95 ± 0.8%, YCB에서 80.40 ± 1.6%.
• 손이 위를 향함, 축소 상태 RNN 학생: EGAD에서 91.96 ± 1.5%, YCB에서 81.04 ± 0.5%.
• 테이블 위에서 손이 아래를 향함, 전체 상태 MLP: 95.31 ± 0.9%(EGAD), 81.59 ± 0.7%(YCB). 초기화에 사용된 물체 들어 올리기 정책은 97.80%(EGAD), 90.11%(YCB) 성공한다.
• 공중에서 손이 아래를 향함, 축소 상태 학생: 74.10 ± 2.3%(EGAD), 45.22 ± 2.1%(YCB). 중력 커리큘럼을 쓰면 YCB가 67.33 ± 1.9%로 오른다.
• 데이터셋 간 제로샷 전이, 손이 위를 향함, 전체 상태: EGAD→YCB 68.82 ± 1.7%, YCB→EGAD 96.41 ± 1.2%.
• 물체별 비전 정책(θ̄ = 0.2 rad, 챔퍼 임계값 0.01): 머그잔 89.67 ± 1.2%, 장난감 비행기 84.52 ± 1.4%, 대칭인 Lego Duplo 조각 50.21-66.57%.

한계

• 모든 실험은 시뮬레이션(Isaac Gym의 시뮬레이션된 Shadow Hand)에서 이루어졌다. 저자들은 팬데믹 때문에 범위를 제한했으며, 실제 환경 전이에 대해서는 간접적인 근거(도메인 무작위화와 최대 토크 분석)만 제시한다.
• 계산 비용 때문에 비전 정책은 여섯 개 물체에 대해 물체마다 하나씩 학습되었다. 여러 물체를 위한 하나의 비전 정책은 향후 과제로 남으며, 주요 병목으로 GPU 메모리를 꼽는다.
• 성공률은 물체 형상에 따라 크게 달라진다. 분석한 YCB 실패 100건 중 60%는 길거나 작거나 얇은 물체 때문이며, 추가로 19%는 목표에 가깝지만 0.1 rad 임계값 밖에서 끝난다.
• 저자들은 던지고 잡는 전략이 시뮬레이터를 악용하는 것일 가능성을 완전히 배제하지는 않지만, 힘 분석은 그렇지 않음을 시사한다.
• 지지대 없이 손이 아래를 향한 상태의 방향 바꾸기는 YCB에서 위를 향한 경우보다 훨씬 낮게 유지된다(커리큘럼 없는 학생 45.22%, 커리큘럼 사용 시 67.33%).

분야에 미친 영향

CoRL 2021 Best Paper Award 수상작이며, 인용 수는 351회이다. 논문은 학습된 정책의 영상을 프로젝트 페이지에 공개하며, 공식 프로젝트 페이지는 코드 저장소(Improbable-AI/dexenv)로 연결된다.

초록

손 안에서의 물체 방향 바꾸기는 고차원 구동 공간과 손가락과 물체 사이 접촉 상태의 잦은 변화 때문에 로봇 공학에서 어려운 문제였다. 우리는 손이 위를 향할 때와 아래를 향할 때 모두 물체의 방향을 바꾸는 법을 학습할 수 있는 단순한 모델 프리 프레임워크를 제시한다. 두 경우 모두에서 기하학적으로 서로 다른 2000개 이상의 물체의 방향을 바꾸는 능력을 보인다. 학습된 정책은 새로운 물체에 대해 강한 제로샷 전이 성능을 보인다. 실제 환경에서 쉽게 얻을 수 있는 관측을 사용하도록 정책을 증류함으로써, 이 정책들이 실제 환경 운용에 적합하다는 근거를 제시한다. 학습된 정책의 영상은 https://taochenshh.github.io/projects/in-hand-reorientation 에서 볼 수 있다.

링크

• arXiv 2111.03043: https://arxiv.org/abs/2111.03043
• DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
• PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
• 코드: https://github.com/Improbable-AI/dexenv
• 프로젝트 페이지: https://taochenshh.github.io/projects/in-hand-reorientation