DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

저자: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

더 빠른 force closure 최적화기로 구축하고 Isaac Gym에서 검증한, 5355개 물체에 대한 1.32M개 파지의 ShadowHand 데이터셋. 이 데이터로 학습한 파지 모델이 DDGdata로 학습한 모델을 능가한다.

중요한 이유

학습 기반 정교한 파지 합성은 손의 많은 자유도 때문에 평행 조 파지보다 훨씬 많은 데이터가 필요하다. DexGraspNet은 이전 ShadowHand 데이터보다 더 많은 물체, 범주, 파지 자세를 포괄하며, 기존 파지 합성 방법 두 가지를 이것으로 학습시키자 두 테스트 세트 모두에서 성공률과 자세 다양성이 함께 높아졌다.

문제

다지 손을 이용한 정교한 파지는 평행 조 파지보다 훨씬 덜 탐구되었는데, 부분적으로 대규모 데이터셋이 없기 때문이다. 유일한 ShadowHand 데이터셋인 DDG의 데이터는 565개 물체에 대한 6.9K개 파지를 가진다. 이 데이터는 GraspIt! 플래너에서 나오는데, 저차원 eigengrasp 공간에서의 탐색은 좁은 범위의 자세만 내며, 이전의 미분 가능 force closure 방법은 성공률이 낮고 수렴이 느리다.

제안 방법

저자들은 미분 가능 force closure 파지 합성을 다음과 같이 개선한다. 부풀린 볼록 껍질에서 물체를 향하도록 펼친 손을 배치하는 초기화, 얇은 메시도 쓸 수 있도록 물체 점으로부터 계산하는 역관통 에너지, 그리고 자기 관통과 관절 한계에 대한 에너지 항을 두고, Kaolin 부호 거리를 이용한 일반 경사 하강법으로 최적화한다. 이후 모든 파지는 Isaac Gym에서 여섯 가지 중력 방향과 0.1 cm 관통 한계 아래에서 테스트되며, 두 검사를 모두 통과한 파지만 남긴다.

핵심 통찰

물체를 향해 펼친 손에서 최적화를 시작하면 force closure 파지 합성의 성공률이 높아지고 수렴이 빨라진다.
물체 점에서 손 메시까지의 관통을 측정하면(역관통 에너지) 두께가 있는 물체 메시가 필요 없어지므로, 품질이 낮은 스캔 메시도 사용할 수 있다.
GraspIt! 자세는 손가락 기저 관절마다 하나의 자유도만 가지며 관절 각도가 한계값으로 몰리는 경우가 많다. 최적화 기반 합성은 더 다양한 자세를 낸다(평균 관절 각도 엔트로피 5.962 대 4.246).
안정성과 다양성은 상충한다. 벤치마크한 두 방법 모두 둘 다를 잘하지 못하며, GraspTTA의 더 높은 엔트로피는 낮은 성공률을 동반한다.

주요 결과

133개 범주의 5355개 물체에 대한 132만 개 파지로, 물체당 200개 이상의 파지를 가진다. DDGdata는 565개 물체에 대한 6.9k개 파지를 가진다.
생성 비용: A100 GPU에서 10,000개 파지를 6000 스텝 최적화하는 데 74분이 걸리고 약 18%가 유효하며, 원래 방법은 NVIDIA 3090에서 512개 파지를 10,000 스텝 최적화하는 데 37분이 걸리고 약 3%가 유효하다. 전체 데이터셋에 950 GPU 시간이 들었으며, 추정치는 50,000 GPU 시간이다. 서론은 같은 속도 향상을 유효 파지 10,000개당 400 GPU 시간에서 7 GPU 시간으로 줄었다고 기술한다.
파지 품질: 평균 Q1은 0.1145로 DDGdata의 0.0712보다 높고, 상위 10%에서는 0.2533 대 0.2277이다.
DexGraspNet으로 학습한 DDG 대 DDGdata로 학습한 DDG: DexGraspNet 테스트 세트에서 성공률 67.5% 대 57.4%, 최대 관통 0.173 대 0.353 cm. DDGdata 테스트 세트에서 성공률 75.9% 대 56.4%.
DexGraspNet으로 학습한 GraspTTA 대 DDGdata로 학습한 GraspTTA: DexGraspNet 테스트 세트에서 성공률 24.5% 대 17.1%, DDGdata 테스트 세트에서 39.3% 대 23.7%.
DexGraspNet으로 학습한 모델은 항상 더 높은 평균 관절 각도 엔트로피를 보인다. 예를 들어 DexGraspNet 테스트 세트에서 DDG는 5.683 대 4.958이다.

한계

데이터셋은 참조 분류 체계의 모든 파지 유형을 포괄하지 않는다. 최적화가 접촉점을 물체 쪽으로 끌어당기므로 파지는 접촉이 많은 파워 그립이 되고 정밀 파지는 거의 나타나지 않는다.
방법에 의미적 안내가 없으므로, 머그잔을 손잡이로 집어 드는 것 같은 기능적 파지는 생성되지 않는다.
모든 파지는 시뮬레이션된 ShadowHand용이며 Isaac Gym에서만 검증되었다. 실제 로봇 파지는 보고되지 않았다.
원래 테스트가 베이스라인에게 너무 엄격했기 때문에, 벤치마크는 데이터셋 검증보다 쉬운 성공 테스트(여섯 가지 중력 방향 중 하나, 5 mm 관통)를 사용한다.
기존 파지 합성 방법은 합리적인 성공률을 유지하면서 데이터셋의 다양성 전체를 학습하지 못한다.

분야에 미친 영향

ICRA 2023 Outstanding Manipulation Paper 상 최종 후보에 올랐으며, 인용 수는 329회다. 논문은 데이터와 도구를 채택 시 공개하겠다고 밝히며, 공식 프로젝트 페이지는 공개 코드 저장소를 링크한다.

초록

정교한 손을 이용한 물체 파지는 로봇 정교 조작에서 매우 중요하지만 어려운 과제다. 평행 그리퍼를 이용한 물체 파지 분야와 비교하면, 정교한 파지는 매우 덜 탐구되었는데, 이는 부분적으로 대규모 데이터셋이 없기 때문이다. 이 연구에서 우리는 로봇의 정교한 파지를 위한 대규모 시뮬레이션 데이터셋인 DexGraspNet과 함께, 다양한 정교한 파지를 합성하기 위한 매우 효율적인 합성 방법을 제시한다. 크게 가속된 미분 가능 force closure 추정기를 활용하여, 우리는 처음으로 안정적이고 다양한 파지를 효율적이고 강건하게 합성할 수 있다. 우리는 로보틱스에서 흔히 볼 수 있는 정교한 그리퍼인 ShadowHand를 선택하여 5355개 물체에 대해 132만 개의 파지를 생성했으며, 이는 133개 이상의 물체 범주를 포괄하고 각 물체 인스턴스마다 200개 이상의 다양한 파지를 포함하고, 모든 파지는 물리 시뮬레이터로 검증되었다. GraspIt!으로 생성된 이전 데이터셋과 비교하여, 우리 데이터셋은 물체와 파지가 더 많을 뿐 아니라 다양성과 품질도 더 높다. 데이터셋 간 교차 실험을 수행하여, 여러 정교한 파지 합성 알고리즘을 우리 데이터셋으로 학습시키면 이전 데이터셋으로 학습시킨 것보다 크게 우수함을 보이며, 이는 DexGraspNet의 대규모성과 다양성을 입증한다. 데이터와 도구는 논문 채택 시 공개할 예정이다.

링크

arXiv 2210.02697: https://arxiv.org/abs/2210.02697
DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
PDF: https://arxiv.org/pdf/2210.02697v1
코드: https://github.com/PKU-EPIC/DexGraspNet
프로젝트 페이지: https://pku-epic.github.io/DexGraspNet/