Grasp Pose Detection in Point Clouds

저자: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

보이는 모든 표면에서 수천 개의 6-DOF 그리퍼 자세를 샘플링하고, 국소 점군의 다중 시점 투영에 대해 작은 CNN으로 각각 점수를 매긴 뒤, 휴리스틱으로 하나를 고른다. 밀집 혼잡 환경에서 93% 성공.

중요한 이유

이 방법은 실행 시 분할, 물체 식별 정보, CAD 모델이 필요 없어 개방형 환경의 피킹에 적합하다. 로봇에서 수행한 절제 실험은 각 단계가 얼마나 기여하는지 보여준다. 점군 품질, 파지 분류, 파지 선택 휴리스틱은 각각 성공률을 9~40 포인트 바꾼다.

문제

기존 파지 파이프라인은 CAD 모델을 점군에 정합하는데, 이는 잡음이 많고 불완전한 점군에서는 어렵고 모든 물체에 모델이 존재한다고 가정한다. 이전의 파지 검출 방법은 단독 물체나 가벼운 혼잡 환경에서 75–95%의 파지 성공률에 도달했는데, 이는 실용적으로 사용하기에 너무 낮고 실제 혼잡 환경을 대표하지도 못한다.

제안 방법

파지 후보는 무작위 점군 점에서 국소 Darboux 좌표계를 만들고 그리퍼 모델을 접촉할 때까지 앞으로 밀어 넣는 방식으로 보이는 모든 표면에서 샘플링되며, 충돌이 없고 닫힘 영역 안에 점이 있는 자세만 남긴다. 각 후보는 점유 복셀, 가려진 복셀, 표면 법선의 세 가지 투영으로부터 15채널(또는 더 저렴한 3채널) 이미지로 인코딩되고, 4층 LeNet 방식 CNN으로 점수가 매겨진다. CNN은 실제 점군에 정합된 BigBird 메시에서 마찰 없는 대척점 파지를 검사해 생성한 1.5M개의 레이블된 예시로 학습된다.

핵심 통찰

파지 표현이 중요하다. 표면 법선과 여러 시점을 포함한 15채널 기술자는 Herzog/Kappler의 3채널 높이맵보다 분류 정확도가 최소 10% 높다
시뮬레이션 CAD 데이터로 사전 학습하면 초기에 도움이 되지만(사전 학습 없이 20000회 반복한 것과 같은 정확도를 4000회 반복에서 달성) 그 이점은 점차 사라지며, 시뮬레이션만으로 학습하면 실제 데이터를 사용한 경우의 약 90%에 비해 83%에 그쳤다
물체 범주나 개체를 알면 정확도가 오른다. 알려진 원통형 개체에서는 분류 정확도가 약 97%로, 사전 지식이 없을 때의 약 92%보다 높다
파지 검출에는 높은 정확도보다 높은 정밀도가 더 필요하므로, 본 논문은 정밀도 99%에서의 재현율을 측정한다
검출된 파지는 물체 분류기를 위한 물체 제안으로 쓰일 수 있어, 로봇이 이름으로 지정된 물체를 파지할 수 있게 한다

주요 결과

능동 점군(InfiniTAM을 사용하는 손목 센서): 10개 물체로 30라운드를 수행해 파지 성공률 93%(288회 시도 중 268회), 물체의 89%를 치움
수동 점군(몸체에 장착된 Asus Xtion Pro 2대): 성공률 84%(138회 중 116회), 물체의 77%를 치움
파지 선택 휴리스틱 없이: 성공률 75%(155회 중 117회). 파지 분류 없이: 성공률 53%(142회 중 75회)
정밀도 99%에서의 재현율: 15채널 표현 89%, 12채널 82%, Herzog/Kappler 표현 19%
66k 점 점군에서 후보 1k개당 실행 시간: 3채널 기술자 2.1 s, 15채널 약 8 s
혼잡 환경에서 물체 제안으로서의 파지: 9개 물체에 걸쳐 물체 분류 정확도 85.4%(제안 1197개 중 1023개)

한계

분할을 사용하지 않으므로 검출기가 인접한 두 물체를 하나로 취급하는 파지를 만들 수 있으며, 이는 개구부가 더 큰 손에서 늘어날 것으로 예상된다
특정 물체를 파지하는 것은 실험실에서 85%에 그친 물체 분류에 의존하며, 실제 사용 전에 이를 개선해야 한다
이 방법은 두 손가락 손(또는 그처럼 동작하는 손)으로 제한되며, 닫힘 영역이 더 복잡한 손에서는 샘플링의 이점이 사라질 수 있다
Baxter 그리퍼의 3–7 cm 파지 폭이 시험 물체를 제한했고, 두 물체는 거꾸로 떨어졌을 때 손으로 바로 세워야 했다
시뮬레이션 깊이 이미지로 만든 학습 데이터는 실제 센서로 잘 전이되지 않는다(정확도 83% 대 약 90%)

분야에 미친 영향

인용 722회. 저자들은 구현을 C++ ROS 패키지(github.com/atenpas/gpd)로 공개하고, 파지 실험을 위한 밀집 혼잡 벤치마크 프로토콜을 정의한다.

초록

최근 물체 자세를 추정하지 않고 센서 데이터로부터 직접 로봇 파지 구성의 위치를 찾는 데 사용할 수 있는 여러 파지 검출 방법이 제안되었다. 그 기본 아이디어는 파지 인식을 컴퓨터 비전의 물체 검출과 유사하게 다루는 것이다. 이러한 방법은 잡음이 있고 부분적으로 가려진 RGBD 이미지나 점군을 입력으로 받아, 물체의 CAD 모델이 알려져 있다고 가정하지 않고 실행 가능한 파지의 자세 추정치를 출력한다. 이 방법들은 파지 지식을 새로운 물체로 잘 일반화하지만, 널리 사용될 만큼 신뢰할 수 있다는 것은 아직 입증되지 않았다. 많은 파지 검출 방법은 단독으로 놓이거나 가벼운 혼잡 환경에 놓인 새로운 물체에 대해 75%에서 95% 사이의 파지 성공률(전체 파지 시도 횟수 중 파지 성공의 비율)을 달성한다. 이러한 성공률은 실용적인 파지 응용에 너무 낮을 뿐 아니라, 평가되는 가벼운 혼잡 시나리오는 실제 세계 파지의 현실을 반영하지 못하는 경우가 많다. 본 논문은 함께 적용되어 파지 검출 성능을 크게 향상시키는 여러 혁신을 제안한다. 각 기여에 따른 구체적인 성능 향상은 시뮬레이션 또는 로봇 하드웨어에서 정량적으로 측정된다. 최종적으로 우리는 밀집 혼잡 환경에 놓인 새로운 물체에 대해 평균 93%의 종단 간 파지 성공률을 보인 일련의 로봇 실험을 보고한다.

링크

arXiv 1706.09911: https://arxiv.org/abs/1706.09911
DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
PDF: https://arxiv.org/pdf/1706.09911v1
코드: http://github.com/atenpas/gpd