DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

Autores: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un conjunto de datos de 1,32M agarres de ShadowHand sobre 5355 objetos, construido con un optimizador de cierre de fuerza más rápido y comprobado en Isaac Gym; los modelos de agarre entrenados con él superan a los entrenados con DDGdata.

Por qué importa

La síntesis de agarres diestros basada en aprendizaje necesita muchos más datos que el agarre con mordazas paralelas, por los numerosos grados de libertad de la mano. DexGraspNet cubre más objetos, categorías y poses de agarre que los datos anteriores de ShadowHand, y entrenar con él dos métodos existentes de síntesis de agarres aumentó tanto su tasa de éxito como la diversidad de poses en ambos conjuntos de prueba.

Problema

El agarre diestro con manos de varios dedos está mucho menos explorado que el agarre con mordazas paralelas, en parte porque no existe ningún conjunto de datos a gran escala; el único conjunto de datos de ShadowHand, de DDG, tiene 6,9K agarres sobre 565 objetos. Esos datos proceden del planificador GraspIt!, cuya búsqueda en un espacio de eigengrasps de baja dimensión da una dispersión estrecha de poses, mientras que el método anterior de cierre de fuerza diferenciable tiene una tasa de éxito baja y una convergencia lenta.

Solución propuesta

Los autores mejoran la síntesis diferenciable de agarres por cierre de fuerza con una inicialización que coloca una mano abierta orientada hacia el objeto desde una envolvente convexa inflada, una energía de penetración inversa calculada a partir de los puntos del objeto para que funcionen las mallas delgadas, y términos de energía para la autopenetración y los límites articulares, optimizados mediante descenso de gradiente simple con distancias con signo de Kaolin. Después, cada agarre se prueba en Isaac Gym bajo seis direcciones de gravedad con un límite de penetración de 0,1 cm, y solo se conservan los agarres que superan ambas comprobaciones.

Ideas clave

• Iniciar la optimización desde una mano abierta orientada hacia el objeto aumenta la tasa de éxito y acelera la convergencia de la síntesis de agarres por cierre de fuerza.
• Medir la penetración desde los puntos del objeto hasta la malla de la mano (energía de penetración inversa) elimina la necesidad de mallas de objeto con grosor, de modo que pueden usarse mallas escaneadas de baja calidad.
• Las poses de GraspIt! tienen un grado de libertad por cada articulación de la raíz de los dedos y a menudo llevan los ángulos articulares a sus límites; la síntesis basada en optimización da poses más diversas (entropía media de los ángulos articulares de 5,962 frente a 4,246).
• Estabilidad y diversidad están en conflicto: ninguno de los métodos evaluados rinde bien en ambas, y la mayor entropía de GraspTTA va acompañada de una tasa de éxito baja.

Resultados principales

• 1,32 millones de agarres sobre 5355 objetos en 133 categorías, con más de 200 agarres por objeto; DDGdata tiene 6,9k agarres sobre 565 objetos.
• Coste de generación: 74 min en GPU A100 para optimizar 10 000 agarres durante 6000 pasos con aproximadamente un 18 % válidos, frente a 37 min en una NVIDIA 3090 para 512 agarres durante 10 000 pasos con aproximadamente un 3 % válidos en el método original; 950 horas de GPU para el conjunto de datos completo frente a unas 50 000 estimadas. La introducción expresa la misma aceleración como una reducción de 400 horas de GPU a 7 horas de GPU por cada 10 000 agarres válidos.
• Calidad de agarre: Q1 medio de 0,1145 frente a 0,0712 en DDGdata, y 0,2533 frente a 0,2277 en el mejor 10 %.
• DDG entrenado con DexGraspNet frente a DDGdata: éxito del 67,5 % frente al 57,4 % y penetración máxima de 0,173 frente a 0,353 cm en el conjunto de prueba de DexGraspNet; éxito del 75,9 % frente al 56,4 % en el conjunto de prueba de DDGdata.
• GraspTTA entrenado con DexGraspNet frente a DDGdata: éxito del 24,5 % frente al 17,1 % en el conjunto de prueba de DexGraspNet y del 39,3 % frente al 23,7 % en el conjunto de prueba de DDGdata.
• Los modelos entrenados con DexGraspNet muestran siempre una mayor entropía media de los ángulos articulares, p. ej., DDG con 5,683 frente a 4,958 en el conjunto de prueba de DexGraspNet.

Limitaciones

• El conjunto de datos no cubre todos los tipos de agarre de la taxonomía de referencia: la optimización atrae los puntos de contacto hacia el objeto, por lo que los agarres son agarres de potencia con mucho contacto y apenas aparecen agarres de precisión.
• El método no tiene orientación semántica, por lo que no se generan agarres funcionales como coger una taza por el asa.
• Todos los agarres son para una ShadowHand simulada y solo se validan en Isaac Gym; no se presentan agarres con un robot real.
• Los benchmarks usan una prueba de éxito más sencilla que la validación del conjunto de datos (una de seis direcciones de gravedad, penetración de 5 mm) porque la prueba original era demasiado estricta para las líneas base.
• Los métodos existentes de síntesis de agarres no pueden aprender toda la diversidad del conjunto de datos manteniendo una tasa de éxito razonable.

Impacto en el campo

Finalista del premio ICRA 2023 Outstanding Manipulation Paper, con 329 citas. El artículo afirma que los datos y las herramientas se publicarán tras la aceptación; la página oficial del proyecto enlaza un repositorio de código público.

Resumen

El agarre de objetos con manos diestras es una tarea crucial pero difícil para la manipulación diestra robótica. En comparación con el campo del agarre de objetos con pinzas paralelas, el agarre diestro está muy poco explorado, en parte por la falta de un conjunto de datos a gran escala. En este trabajo presentamos un conjunto de datos simulado a gran escala, DexGraspNet, para el agarre diestro robótico, junto con un método de síntesis altamente eficiente para la síntesis de agarres diestros diversos. Gracias a un estimador diferenciable de cierre de fuerza muy acelerado, somos capaces, por primera vez, de sintetizar agarres estables y diversos de forma eficiente y robusta. Elegimos ShadowHand, una pinza diestra habitual en robótica, y generamos 1,32 millones de agarres para 5355 objetos, que abarcan más de 133 categorías de objetos y contienen más de 200 agarres diversos por cada instancia de objeto, todos ellos validados por el simulador físico. En comparación con el conjunto de datos anterior generado por GraspIt!, nuestro conjunto de datos no solo tiene más objetos y agarres, sino también mayor diversidad y calidad. Mediante experimentos entre conjuntos de datos, mostramos que entrenar varios algoritmos de síntesis de agarres diestros con nuestros conjuntos de datos supera significativamente al entrenamiento con el anterior, lo que demuestra la gran escala y diversidad de DexGraspNet. Publicaremos los datos y las herramientas tras la aceptación.

Enlaces

• arXiv 2210.02697: https://arxiv.org/abs/2210.02697
• DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
• PDF: https://arxiv.org/pdf/2210.02697v1
• Código: https://github.com/PKU-EPIC/DexGraspNet
• Página del proyecto: https://pku-epic.github.io/DexGraspNet/