ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

저자: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

두 손의 움직임을 1-DoF 스크루 관절로 모델링하고, 사람의 RGB-D 영상 하나에서 이를 추출한 뒤 Tiago++에서 스크루 공간 탐색으로 다듬는다. 여섯 가지 과제에서 18회 중 16회 시행이 성공한다.

중요한 이유

이 방법은 과제당 RGB-D 영상 하나만 필요하며, 원격 조작 장비, 모션 캡처, 시뮬레이터가 필요 없다. 탐색을 스크루 축으로 제한하자, 6-DoF 웨이포인트 탐색에서는 실패했던 세 과제가 실제 로봇 에피소드 25회 이내에 성공으로 바뀌었다.

문제

양손 조작에는 공간과 시간 모두에서 동기화된 두 팔이 필요하며, 이로 인해 행동 공간이 커져 실제 하드웨어에서의 무작위 탐색은 비현실적이다. 인간 영상은 값싼 시연 자료이지만 손 추적에 노이즈가 있고 인간과 로봇의 신체가 다르므로, 재생한 동작은 실패하고 다듬어야 하며, 이는 큰 탐색 공간을 다시 불러온다.

제안 방법

두 손을 직렬 운동학적 체인으로 모델링하는 생체역학 연구를 따라, ScrewMimic은 스크루 행동을 정의한다. 각 손의 파지점, 왼손에 대한 오른손의 상대 운동을 나타내는 1-DoF 스크루 축(직동, 회전, 또는 방향이 고정된 회전), 그리고 선택적인 왼손 궤적으로 구성된다. 손-물체 검출기와 FrankMocap을 사용해 RGB-D 영상 하나에서 이를 추출하고, 기하학적으로 증강한 포인트 클라우드로 PointNet 모델을 학습시켜 새로운 물체 자세에 대해 이를 예측하며, 실패한 예측은 에피소드 길이와 손목 힘-토크 센서 값으로 스스로 생성한 보상을 사용해 스크루 축 공간에서 교차 엔트로피 방법으로 다듬는다. 성공한 행동은 다시 추가되어 예측기를 재학습한다.

핵심 통찰

• 물리적 관절이 있는 경우(병, 노트북, 롤)든 없는 경우(젓기, 자르기, 지퍼 잠그기)든, 많은 양손 과제는 두 손 사이의 가상 1-DoF 스크루 관절 하나로 기술할 수 있다.
• 노이즈가 있는 손 추적 궤적을 스크루 축에 투영하면 로봇이 사용하기 전에 시연이 정제된다.
• N×6-DoF 웨이포인트 대신 스크루 축 파라미터에 대해 탐색하면 실제 로봇 미세 조정이 25 에피소드 이내에 가능해진다.
• 두 보상 항이 모두 필요하다. 파지 상실 감지나 평균 렌치 순위가 없으면 병 열기와 젓기가 실패했다.
• 성공한 미세 조정 행동으로 예측기를 재학습할 수 있으며, 재학습된 예측기는 같은 물체에서 거의 제로샷으로 성공하고 같은 범주의 새로운 개체에도 적응한다.

주요 결과

• 새로운 물체 자세(표 I): 병 열기 2/3, 지퍼 잠그기 3/3, 롤 끼우기 3/3, 노트북 닫기 3/3, 젓기 2/3, 자르기 3/3, 즉 18회 중 16회 시행으로, 논문은 이를 종합 성공률 90%로 보고한다.
• 성공한 시행은 평균 7~18 에피소드(5 에피소드로 구성된 에포크 1~3회)가 필요했으며, 상한은 25 에피소드였다. 미세 조정에는 약 40분이 걸린다.
• 행동 공간 절제 실험(표 III): 스크루 공간 탐색은 25 에피소드 중 각각 16, 7, 11 에피소드 후 병, 롤, 노트북에서 성공했다. FM + N×6-DoF(DEFT 방식)와 Screw + N×6-DoF 탐색은 25 에피소드 이내에 세 과제 모두 실패했으며, 과제 완료율은 0–50%에 그쳤다.
• 수정된 행동으로 재학습(표 II): 같은 물체에서 병 열기는 3 에포크/16 에피소드에서 0/1로, 롤 끼우기는 1/7에서 0/2로 줄었다. 새로운 병에서 재학습된 모델은 2/14가 필요했고, 한 번 더 반복한 후에는 0/1이었다.
• 가장 큰 노이즈(σ = 3.0 cm, 12.5°)를 더했을 때 추출된 축은 2.1 cm, 13.1°만큼 어긋났으며, 미세 조정은 여전히 4 에포크, 21 에피소드 후 성공했다.
• ModelNet-40으로 사전 학습한 PointNet은 처음 보는 병에서 축 오차를 줄였으며(예: 0.09 m, 6°에서 0.03 m, 4.2°로), 학습용 병에서의 오차는 그대로였다.

한계

• 단일 스크루 축은 지그재그로 자르기처럼 손이 둘 이상의 축을 따라 움직이는 과제에 맞지 않는다.
• 물체 범주마다 별도의 예측 모델을 학습하므로 일반화가 제한된다.
• 에피소드 성공 여부는 수동으로 기록되며, 필요할 때 사람이 장면을 초기화한다.
• 스크루 축만 미세 조정되고 파지 접촉점은 조정되지 않는다. 노트북 같은 반사 표면은 깊이 센서가 모든 각도에서 볼 수 없었기 때문에 덮어야 했다.
• 시행당 최대 25 에피소드이므로 결과는 처음 샘플링한 스크루 행동에 좌우된다. 실패한 두 시행은 성공적인 행동을 찾지 못한 채 끝났다.

분야에 미친 영향

RSS 2024 Outstanding Student Paper Award 최종 후보였으며, 인용 수는 44회이다. 공식 프로젝트 페이지는 github.com/UT-Austin-RobIn/ScrewMimic 에 있는 코드를 링크한다.

초록

양손 조작은 많은 자유도와 의미 있는 행동을 생성하는 데 필요한 엄격한 공간적·시간적 동기화 때문에 로보틱스에서 오랜 난제이다. 인간은 다른 사람을 관찰하고 놀이를 통해 능력을 다듬으며 양손 조작 기술을 배운다. 본 연구에서 우리는 로봇이 인간의 영상 시연으로부터 양손 조작 행동을 학습하고 상호작용을 통해 이를 미세 조정할 수 있게 하는 것을 목표로 한다. 심리학과 생체역학의 선구적 연구에서 영감을 받아, 우리는 두 손 사이의 상호작용을 직렬 운동학적 연결, 특히 스크루 운동으로 모델링할 것을 제안하며, 이를 이용해 양손 조작을 위한 새로운 행동 공간인 스크루 행동을 정의한다. 우리는 이 새로운 행동 표현을 활용하여 인간 시연으로부터의 학습과 자기 지도 정책 미세 조정을 쉽게 하는 프레임워크 ScrewMimic을 소개한다. 실험 결과 ScrewMimic은 단 하나의 인간 영상 시연으로부터 여러 복잡한 양손 행동을 학습할 수 있으며, 두 팔의 원래 운동 공간에서 직접 시연을 해석하고 미세 조정하는 기준선보다 뛰어난 성능을 보인다. 더 많은 정보와 영상 결과: https://robin-lab.cs.utexas.edu/ScrewMimic/

링크

• arXiv 2405.03666: https://arxiv.org/abs/2405.03666
• DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
• PDF: https://arxiv.org/pdf/2405.03666v1
• 코드: https://github.com/UT-Austin-RobIn/ScrewMimic
• 프로젝트 페이지: https://robin-lab.cs.utexas.edu/ScrewMimic/