Grasp Pose Detection in Point Clouds

Autores: Andreas ten Pas, Marcus Gualtieri, Kate Saenko, Robert Platt · IJRR 2017

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Muestrear miles de poses de pinza de 6-DOF sobre cualquier superficie visible, puntuar cada una con una CNN pequeña sobre proyecciones multivista de la nube local y elegir una mediante heurísticas: 93 % de éxito en desorden denso.

Por qué importa

El método no necesita segmentación, ni la identidad del objeto, ni un modelo CAD en tiempo de ejecución, lo que lo hace adecuado para la recogida en mundo abierto. Las ablaciones en el robot muestran cuánto aporta cada etapa: la calidad de la nube de puntos, la clasificación de agarres y las heurísticas de selección de agarres cambian cada una la tasa de éxito entre 9 y 40 puntos.

Problema

Los pipelines clásicos de agarre registran un modelo CAD en la nube de puntos, lo cual es difícil con nubes ruidosas y parciales y supone que existe un modelo para cada objeto. Los métodos anteriores de detección de agarres alcanzaban un 75–95 % de éxito de agarre con objetos aislados o en desorden ligero, demasiado bajo para el uso práctico y no representativo del desorden real.

Solución propuesta

Los candidatos a agarre se muestrean sobre cualquier superficie visible construyendo un marco de Darboux local en puntos aleatorios de la nube y desplazando hacia delante un modelo de la pinza hasta el contacto, conservando las poses libres de colisiones que tienen puntos dentro de la región de cierre. Cada candidato se codifica como una imagen de 15 canales (o de 3 canales, más barata) a partir de tres proyecciones de vóxeles ocupados, vóxeles ocluidos y normales de superficie, y se puntúa con una CNN de cuatro capas al estilo LeNet. La CNN se entrena con 1,5M de ejemplares etiquetados, generados comprobando agarres antipodales sin fricción en mallas de BigBird registradas en nubes de puntos reales.

Ideas clave

• La representación del agarre importa: el descriptor de 15 canales con normales de superficie y múltiples vistas supera al mapa de alturas de 3 canales de Herzog/Kappler en al menos un 10 % de exactitud de clasificación
• El preentrenamiento con datos CAD simulados ayuda al principio (la misma exactitud a las 4000 iteraciones que a las 20000 sin él), pero el beneficio se desvanece, y el entrenamiento solo en simulación alcanzó únicamente el 83 % frente a alrededor del 90 % con datos reales
• Conocer la categoría o la instancia del objeto aumenta la exactitud: alrededor del 97 % de clasificación para instancias cilíndricas conocidas frente a alrededor del 92 % sin conocimiento previo
• La detección de agarres necesita más una alta precisión que una alta exactitud, por lo que el artículo mide el recall al 99 % de precisión
• Los agarres detectados pueden servir como propuestas de objetos para un clasificador de objetos, lo que permite al robot agarrar un objeto nombrado

Resultados principales

• Nube de puntos activa (sensor de muñeca con InfiniTAM): 93 % de éxito de agarre (268 de 288 intentos) en 30 rondas de 10 objetos, con el 89 % de los objetos despejados
• Nube de puntos pasiva (dos Asus Xtion Pro montados en el cuerpo): 84 % de éxito (116 de 138), 77 % de los objetos despejados
• Sin las heurísticas de selección de agarres: 75 % de éxito (117 de 155); sin clasificación de agarres: 53 % de éxito (75 de 142)
• Recall al 99 % de precisión: 89 % para la representación de 15 canales, 82 % para 12 canales, 19 % para la representación de Herzog/Kappler
• Tiempo de ejecución por cada 1k candidatos en una nube de 66k puntos: 2,1 s con el descriptor de 3 canales frente a unos 8 s con 15 canales
• Agarres como propuestas de objetos en desorden: 85,4 % de exactitud de clasificación de objetos (1023 de 1197 propuestas) sobre 9 objetos

Limitaciones

• Sin segmentación, el detector puede producir un agarre que trata dos objetos adyacentes como uno solo; se espera que esto aumente con manos de mayor apertura
• Agarrar un objeto concreto depende de una clasificación de objetos que solo alcanzó el 85 % en el laboratorio; es necesario mejorarla antes del uso en el mundo real
• El método se limita a manos de dos dedos (o manos que actúan como tales), y la ventaja del muestreo puede desaparecer en manos con regiones de cierre más complejas
• La apertura de agarre de 3–7 cm de la pinza del Baxter limitó los objetos de prueba, y dos objetos tuvieron que ponerse derechos a mano cuando cayeron boca abajo
• Los datos de entrenamiento procedentes de imágenes de profundidad simuladas se transfieren mal a sensores reales (83 % frente a alrededor del 90 % de exactitud)

Impacto en el campo

722 citas. Los autores publican su implementación como un paquete ROS en C++ (github.com/atenpas/gpd) y definen un protocolo de benchmark de desorden denso para experimentos de agarre.

Resumen

Recientemente se han propuesto varios métodos de detección de agarres que pueden utilizarse para localizar configuraciones de agarre robótico directamente a partir de datos de sensores, sin estimar la pose del objeto. La idea subyacente es tratar la percepción de agarres de forma análoga a la detección de objetos en visión por computador. Estos métodos toman como entrada una imagen RGBD o una nube de puntos ruidosa y parcialmente ocluida y producen como salida estimaciones de pose de agarres viables, sin suponer un modelo CAD conocido del objeto. Aunque estos métodos generalizan bien el conocimiento de agarre a objetos nuevos, todavía no se ha demostrado que sean lo bastante fiables para un uso amplio. Muchos métodos de detección de agarres alcanzan tasas de éxito de agarre (agarres exitosos como fracción del número total de intentos de agarre) de entre el 75 % y el 95 % para objetos nuevos presentados de forma aislada o en un desorden ligero. No solo estas tasas de éxito son demasiado bajas para aplicaciones prácticas de agarre, sino que los escenarios de desorden ligero que se evalúan a menudo no reflejan las realidades del agarre en el mundo real. Este artículo propone una serie de innovaciones que, en conjunto, dan lugar a una mejora significativa del rendimiento de la detección de agarres. La mejora específica del rendimiento debida a cada una de nuestras contribuciones se mide cuantitativamente, ya sea en simulación o en hardware robótico. Por último, presentamos una serie de experimentos robóticos que promedian una tasa de éxito de agarre de extremo a extremo del 93 % para objetos nuevos presentados en un desorden denso.

Enlaces

• arXiv 1706.09911: https://arxiv.org/abs/1706.09911
• DOI 10.1177/0278364917735594: https://doi.org/10.1177/0278364917735594
• PDF: https://arxiv.org/pdf/1706.09911v1
• Código: http://github.com/atenpas/gpd