6-DoF Grasp Pose

다른 이름: 6-DoF grasp
카테고리: Planning & manipulation › Manipulation
태그: grasping, pose-estimation, point-clouds, manipulation, grasp-detection

그리퍼가 물체를 쥐며 닫혀야 하는 완전한 3D 위치와 3D 방향. 자유 매개변수가 더 적은 평면 파지나 위에서 아래로의 파지와 대비된다.

정의

6-DoF 파지 자세(6-DoF grasp pose)는 그리퍼가 물체를 쥐며 닫힐 때 어디에 있어야 하는지를 지정한다. 위치에 3개, 방향에 3개의 자유도가 있으며, 이를 합친 것은 SE(3)의 원소다. 보통 그리퍼 기준 좌표계의 자세로 표현하며, 이 좌표계는 흔히 손가락 끝 사이의 중심에 두고 카메라, 로봇 베이스, 또는 물체를 기준으로 나타낸다. 평행 그리퍼에서는 흔히 열림 폭을, 다지 손에서는 손가락 관절 각도를 덧붙여 기술을 확장하지만, 그리퍼가 어느 방향에서든 접근할 수 있게 해 주는 것은 6-DoF 부분이다.

이 용어는 주로 더 낮은 차원의 파지 표현과 대비하여 쓰인다. 초기의 학습 기반 파지는 영상 속 방향이 있는 사각형 같은 평면 파지(planar grasp)를 예측했다. 이는 위치, 깊이, 수직축에 대한 회전을 가진 위에서 아래로의 접근에 해당하며, 대략 4자유도다. 위에서 보았을 때 상자 안에 평평하게 놓인 물체에는 충분하지만, 머그컵을 옆에서 잡거나, 선반에 누워 있는 병이나 사람이 들고 있는 물체를 잡을 수는 없다. 6-DoF 방법은 접근 방향의 전체 공간을 탐색하므로 더 일반적이지만 더 어렵기도 하다. 공간이 더 크고, 많은 후보 자세가 물체나 장면과 충돌하며, 결과가 팔로 도달 가능해야 한다.

전형적인 6-DoF 파이프라인은 부분 점군에서 시작한다. Grasp Pose Detection 같은 샘플링 기반 방법은 대척 접촉 같은 기하학적 휴리스틱으로 많은 그리퍼 자세를 제안한 뒤 학습된 분류기로 점수를 매긴다. 6-DOF GraspNet 같은 생성 방법은 학습된 분포에서 파지 자세를 샘플링하고 학습된 평가기로 다듬으며, Contact-GraspNet은 전체 장면에서 관측된 표면 점에 고정된 파지를 예측한다. 그런 다음 각 후보에 대해 충돌을 검사하고, 역기구학을 풀고, 접근 축을 따라 조금 뒤로 물러난 사전 파지 자세, 직선 접근, 닫기, 들어 올리기 순으로 실행한다. 좌표계 규약이 중요하다. 라이브러리마다 그리퍼의 어느 축이 접근 방향인지, 좌표계 원점이 어디에 있는지가 다르며, 평행 그리퍼 파지를 접근 축에 대해 180도 돌린 것은 물리적으로 같은 파지이므로, 이 점이 학습 손실과 평가 모두에 영향을 준다.

중요한 이유

실제 물체 대부분은 상자 안에 평평하게 놓여 있지 않다. 선반, 탁자, 어수선한 장면, 사람이 들고 있는 물체는 모두 바로 위가 아닌 다른 방향에서 접근해야 하며, 6-DoF 파지 자세는 그런 파지를 가능하게 하는 표현이다. 또한 파지 검출기와 모션 플래너 사이의 공통 인터페이스이기도 하다.

주요 응용

선반, 탁자, 어수선한 장면에서 물체 집기
사람이 손에 들고 있는 물체의 사람-로봇 핸드오버
가정과 창고에서의 모바일 조작
부분 점군으로 처음 보는 물체 파지
학습용 파지 데이터셋을 시뮬레이션에서 생성

실제 사례

주방 로봇이 손잡이가 반대쪽을 향한 채 똑바로 서 있는 머그컵을 집어야 한다. 깊이 카메라가 머그컵의 부분 점군을 주고, 파지 네트워크가 점수가 매겨진 6-DoF 파지 후보 수백 개를 돌려준다. 소프트웨어는 후보들을 로봇 베이스 좌표계로 변환하고, 탁자나 장면과 충돌하는 것을 버린 뒤, 나머지에 역기구학을 실행해 관절 한계에 다가가지 않고 도달할 수 있는 것만 남긴다. 옆에서 테두리를 잡고 닫히는 최선의 파지에 대해, 플래너는 그리퍼의 접근 축을 따라 10센티미터 뒤의 사전 파지 자세로 이동하고, 직선으로 접근한 뒤, 그리퍼를 닫고 들어 올린다. 초기에 생긴 버그는 파지 라이브러리와 로봇 그리퍼가 서로 다른 접근 축을 쓰는 데서 비롯되었으며, 두 좌표계 규약 사이에 고정 회전을 넣어 해결했다.

흔한 오해

6-DoF 파지 자세만 있으면 파지를 실행할 수 있다 — 여전히 충돌 검사를 통과하고, 역기구학 해가 있어야 하며, 합리적인 사전 파지 접근을 거쳐 도달해야 한다
대부분의 작업에는 위에서 아래로의 파지로 충분하다 — 열린 상자 안에 평평하게 놓인 물체에는 통하지만, 선반, 옆을 향한 손잡이, 사람이 들고 있는 물체에는 위에서 아래로의 파지가 제공할 수 없는 접근 방향이 필요하다
모든 파지 라이브러리는 같은 그리퍼 좌표계를 쓴다 — 접근 축과 좌표계 원점은 도구마다 다르며, 규약을 섞으면 아무 경고 없이 잘못된 파지가 만들어진다
'GraspNet'은 하나의 방법을 가리킨다 — 6-DOF GraspNet과 GraspNet-1Billion 데이터셋 및 베이스라인은 서로 다른 그룹의 별개 연구다

알아야 할 사람

조작 및 파지 엔지니어
픽 앤 플레이스 시스템을 만드는 인식 엔지니어
파지 검출을 연구하는 로봇 학습 연구자
모바일 조작 개발자

Open Source Robotics

6-DoF Grasp Pose

정의

중요한 이유

주요 응용

실제 사례

흔한 오해

알아야 할 사람

관련 기술

관련 용어

관련 프로젝트