DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

Autores: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um conjunto de dados de 1,32M preensões da ShadowHand sobre 5355 objetos, construído com um otimizador de fechamento de força mais rápido e verificado no Isaac Gym; modelos de preensão treinados nele superam os treinados no DDGdata.

Por que importa

A síntese de preensões destras baseada em aprendizado precisa de muito mais dados do que a preensão com mordentes paralelos, por causa dos muitos graus de liberdade da mão. O DexGraspNet cobre mais objetos, categorias e poses de preensão do que os dados anteriores da ShadowHand, e treinar nele dois métodos existentes de síntese de preensão elevou tanto a taxa de sucesso quanto a diversidade de poses de ambos nos dois conjuntos de teste.

Problema

A preensão destra com mãos de vários dedos é muito menos explorada do que a preensão com mordentes paralelos, em parte porque não existe um conjunto de dados em larga escala; o único conjunto de dados da ShadowHand, do DDG, tem 6,9K preensões sobre 565 objetos. Esses dados vêm do planejador GraspIt!, cuja busca em um espaço de eigengrasps de baixa dimensão gera uma dispersão estreita de poses, enquanto o método anterior de fechamento de força diferenciável tem baixa taxa de sucesso e convergência lenta.

Solução proposta

Os autores aprimoram a síntese diferenciável de preensões por fechamento de força com uma inicialização que posiciona uma mão aberta voltada para o objeto a partir de uma envoltória convexa inflada, uma energia de penetração reversa calculada a partir dos pontos do objeto para que malhas finas funcionem, e termos de energia para autopenetração e limites das juntas, otimizados por descida de gradiente simples com distâncias com sinal do Kaolin. Em seguida, cada preensão é testada no Isaac Gym sob seis direções de gravidade com limite de penetração de 0,1 cm, e apenas as preensões aprovadas nas duas verificações são mantidas.

Principais ideias

Iniciar a otimização a partir de uma mão aberta voltada para o objeto aumenta a taxa de sucesso e acelera a convergência da síntese de preensões por fechamento de força.
Medir a penetração dos pontos do objeto até a malha da mão (energia de penetração reversa) elimina a necessidade de malhas de objeto com espessura, de modo que malhas escaneadas de baixa qualidade podem ser usadas.
As poses do GraspIt! têm um grau de liberdade por junta da raiz de cada dedo e muitas vezes levam os ângulos das juntas aos seus limites; a síntese baseada em otimização gera poses mais diversas (entropia média dos ângulos das juntas de 5,962 contra 4,246).
Estabilidade e diversidade se contrapõem: nenhum dos métodos avaliados se sai bem em ambas, e a entropia mais alta do GraspTTA vem acompanhada de uma baixa taxa de sucesso.

Principais resultados

1,32 milhão de preensões sobre 5355 objetos em 133 categorias, com mais de 200 preensões por objeto; o DDGdata tem 6,9k preensões sobre 565 objetos.
Custo de geração: 74 min em GPUs A100 para otimizar 10.000 preensões por 6000 passos com cerca de 18 % válidas, contra 37 min em uma NVIDIA 3090 para 512 preensões ao longo de 10.000 passos com cerca de 3 % válidas no método original; 950 horas de GPU para o conjunto de dados completo contra 50.000 estimadas. A introdução expressa a mesma aceleração como uma redução de 400 horas de GPU para 7 horas de GPU a cada 10.000 preensões válidas.
Qualidade de preensão: Q1 médio de 0,1145 contra 0,0712 do DDGdata, e 0,2533 contra 0,2277 nos 10 % melhores.
DDG treinado no DexGraspNet versus no DDGdata: sucesso de 67,5 % contra 57,4 % e penetração máxima de 0,173 contra 0,353 cm no conjunto de teste do DexGraspNet; sucesso de 75,9 % contra 56,4 % no conjunto de teste do DDGdata.
GraspTTA treinado no DexGraspNet versus no DDGdata: sucesso de 24,5 % contra 17,1 % no conjunto de teste do DexGraspNet e de 39,3 % contra 23,7 % no conjunto de teste do DDGdata.
Modelos treinados no DexGraspNet sempre apresentam entropia média dos ângulos das juntas mais alta, p. ex., DDG com 5,683 contra 4,958 no conjunto de teste do DexGraspNet.

Limitações

O conjunto de dados não cobre todos os tipos de preensão da taxonomia de referência: a otimização puxa os pontos de contato em direção ao objeto, de modo que as preensões são preensões de força ricas em contato e preensões de precisão quase não aparecem.
O método não tem orientação semântica, portanto preensões funcionais, como pegar uma caneca pela alça, não são geradas.
Todas as preensões são para uma ShadowHand simulada e validadas apenas no Isaac Gym; nenhuma preensão com robô real é relatada.
Os benchmarks usam um teste de sucesso mais fácil do que a validação do conjunto de dados (uma de seis direções de gravidade, penetração de 5 mm) porque o teste original era rigoroso demais para as linhas de base.
Os métodos existentes de síntese de preensão não conseguem aprender toda a diversidade do conjunto de dados mantendo uma taxa de sucesso razoável.

Impacto na área

Finalista do prêmio ICRA 2023 Outstanding Manipulation Paper, com 329 citações. O artigo afirma que os dados e as ferramentas serão disponibilizados após a aceitação; a página oficial do projeto traz link para um repositório de código público.

Resumo

A preensão de objetos com mãos destras é uma tarefa crucial, porém desafiadora, para a manipulação destra robótica. Em comparação com o campo da preensão de objetos com garras paralelas, a preensão destra é muito pouco explorada, em parte devido à falta de um conjunto de dados em larga escala. Neste trabalho, apresentamos um conjunto de dados simulado em larga escala, DexGraspNet, para preensão destra robótica, juntamente com um método de síntese altamente eficiente para a síntese de preensões destras diversas. Aproveitando um estimador diferenciável de fechamento de força altamente acelerado, somos capazes, pela primeira vez, de sintetizar preensões estáveis e diversas de forma eficiente e robusta. Escolhemos a ShadowHand, uma garra destra comum em robótica, e geramos 1,32 milhão de preensões para 5355 objetos, abrangendo mais de 133 categorias de objetos e contendo mais de 200 preensões diversas para cada instância de objeto, com todas as preensões validadas pelo simulador físico. Em comparação com o conjunto de dados anterior gerado pelo GraspIt!, nosso conjunto de dados tem não apenas mais objetos e preensões, mas também maior diversidade e qualidade. Por meio de experimentos entre conjuntos de dados, mostramos que treinar vários algoritmos de síntese de preensão destra em nossos conjuntos de dados supera significativamente o treinamento no anterior, demonstrando a grande escala e a diversidade do DexGraspNet. Disponibilizaremos os dados e as ferramentas após a aceitação.

Open Source Robotics