Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects

Autores: Jonathan Tremblay, Thang To, Balakumar Sundaralingam, Yu Xiang, Dieter Fox, Stan Birchfield · CoRL 2018

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una red de puntos clave entrenada solo con una mezcla de imágenes sintéticas con aleatorización de dominio y fotorrealistas estima la pose de 6-DoF de objetos con precisión suficiente para el agarre con un robot real.

Por qué importa

Un robot no necesita imágenes reales etiquetadas para aprender un nuevo objeto conocido, y como la pose se obtiene mediante PnP en lugar de regresión directa, la red puede usarse con otra cámara sin reentrenar. El artículo muestra que las estimaciones son lo bastante precisas en un Baxter para agarres desde arriba, pick-and-place sobre otro objeto y entrega desde una persona.

Problema

Manipular objetos conocidos requiere su posición y orientación 3D, pero etiquetar la pose de 6-DoF en imágenes reales es laborioso, por lo que las redes suelen entrenarse con datos reales muy correlacionados con el conjunto de prueba y generalizan mal a cámaras e iluminaciones nuevas. Los datos sintéticos evitan el etiquetado pero sufren la brecha de realidad, y la aleatorización de dominio por sí sola había necesitado ajuste fino con datos reales para ser competitiva.

Solución propuesta

DOPE es una red totalmente convolucional de seis etapas (las diez primeras capas de VGG-19 más etapas inspiradas en las convolutional pose machines) que produce mapas de creencia para los 8 vértices proyectados del cuboide y el centroide, además de campos vectoriales que apuntan de los vértices a los centroides. Los picos se agrupan de forma voraz en instancias de objetos y se pasan a un solucionador perspective-n-point (PnP) con los parámetros intrínsecos de la cámara y las dimensiones del objeto para recuperar la pose. El entrenamiento usa unas 60k imágenes con aleatorización de dominio y 60k fotorrealistas de objetos YCB renderizadas con el plugin NDDS de los autores para Unreal Engine 4.

Ideas clave

Los datos sintéticos con aleatorización de dominio y los fotorrealistas se complementan: el conjunto mixto de 120k superó a conjuntos mucho mayores de cualquiera de los dos tipos por separado.
Predecir puntos clave 2D y resolver PnP mantiene los parámetros intrínsecos de la cámara fuera de los pesos de la red, a diferencia de los métodos que hacen regresión directa de la pose.
Cada etapa adicional de la red aumenta la precisión y cuesta tiempo, porque las etapas posteriores usan campos receptivos mayores para resolver la ambigüedad anterior.
El entrenamiento solo con datos sintéticos generalizó a otra cámara y a iluminación extrema mejor que PoseCNN, cuyas imágenes reales de entrenamiento procedían de la misma cámara que su conjunto de prueba.
Los materiales que el renderizador no modela causan fallos: la tapa metálica reflectante de la lata de carne en conserva no se reconoció cuando era la única parte visible.

Resultados principales

En YCB-Video, DOPE entrenado solo con datos sintéticos tuvo un área bajo la curva ADD mayor que PoseCNN (entrenado con datos sintéticos más datos reales de YCB-Video) en 4 de 5 objetos, y fue mejor por debajo de 2 cm, aproximadamente el límite de error de agarre de la pinza del Baxter.
Caja de azúcar, solo datos con aleatorización de dominio: el AUC subió de 0,25 con 2k imágenes a 54,22 con 10k y unos 60,6 con 100k, con un máximo de 66,64 con 300k; solo fotorrealistas alcanzó un máximo de 62,94 con 600k; el conjunto mixto de 120k llegó a 77,00.
Proporción de mezcla: el rendimiento fue comparable para todas las redes siempre que se incluyera al menos el 40 % de cualquiera de los dos conjuntos de datos junto con el otro completo.
Etapas frente a tiempo (incluidas la extracción de objetos y PnP): 1 etapa dio 46,44 de AUC en 57 ms y 6 etapas dieron 75,69 de AUC en 232 ms.
Agarres desde arriba con el Baxter, 12 ensayos por objeto en desorden: caja de galletas 10, lata de carne en conserva 10, bote de mostaza 11, caja de azúcar 11, lata de sopa de tomate 7 (9 con la lata tumbada).

Limitaciones

Las latas de carne en conserva muy ocluidas a menudo no se detectan porque los datos sintéticos no modelan la superficie metálica reflectante de la tapa.
Los objetos redondos son difíciles para los agarres desde arriba: la lata de sopa en vertical tuvo éxito en 7 de 12 ensayos.
Los agarres se ejecutan sin servocontrol en lazo cerrado; los errores provienen de la estimación de pose, de la calibración cámara-robot y de un control impreciso del robot, y el control parece desempeñar un papel importante.
El método supone objetos rígidos conocidos con dimensiones conocidas y parámetros intrínsecos de la cámara conocidos; los autores mencionan más objetos, el tratamiento de simetrías y el refinamiento en lazo cerrado como trabajo futuro.
La comparación con PoseCNN en iluminación extrema es solo cualitativa.

Impacto en el campo

Citado 778 veces. El artículo remite a vídeo y código en su página de proyecto de NVIDIA, que enlaza el repositorio de código de DOPE; los datos de entrenamiento fotorrealistas se publicaron como el conjunto de datos Falling Things (FAT), y el plugin de generación de datos NDDS está en GitHub.

Resumen

Usar datos sintéticos para entrenar redes neuronales profundas para manipulación robótica ofrece la promesa de una cantidad casi ilimitada de datos de entrenamiento preetiquetados, generados de forma segura y sin riesgos. Uno de los retos clave de los datos sintéticos, hasta la fecha, ha sido salvar la llamada brecha de realidad, de modo que las redes entrenadas con datos sintéticos funcionen correctamente cuando se exponen a datos del mundo real. Exploramos la brecha de realidad en el contexto de la estimación de pose de 6-DoF de objetos conocidos a partir de una sola imagen RGB. Mostramos que, para este problema, la brecha de realidad puede salvarse con éxito mediante una combinación sencilla de datos con aleatorización de dominio y datos fotorrealistas. Usando datos sintéticos generados de esta manera, presentamos una red neuronal profunda de un solo paso que es capaz de competir con una red del estado del arte entrenada con una combinación de datos reales y sintéticos. Hasta donde sabemos, esta es la primera red profunda entrenada solo con datos sintéticos que logra un rendimiento del estado del arte en la estimación de pose de objetos de 6-DoF. Nuestra red también generaliza mejor a entornos nuevos, incluidas condiciones de iluminación extremas, para las que mostramos resultados cualitativos. Usando esta red, demostramos un sistema en tiempo real que estima poses de objetos con precisión suficiente para el agarre semántico en el mundo real de objetos domésticos conocidos en desorden por parte de un robot real.

Enlaces

arXiv 1809.10790: https://arxiv.org/abs/1809.10790
DOI 10.48550/arXiv.1809.10790: https://doi.org/10.48550/arXiv.1809.10790
PDF: http://proceedings.mlr.press/v87/tremblay18a/tremblay18a.pdf
Código: https://github.com/NVlabs/Deep_Object_Pose
Página del proyecto: https://research.nvidia.com/publication/2018-09_Deep-Object-Pose