Online Object Model Reconstruction and Reuse for Lifelong Improvement of Robot Manipulation

Autores: Shiyang Lu, Rui Wang, Yinglong Miao, Chaitanya Mitash, Kostas Bekris · ICRA 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Reconocer los objetos que el robot ya ha manipulado y reutilizar sus modelos TSDF parciales: el éxito sube del 85 % al 98 % y se necesitan menos traspasos entre brazos y menos reescaneos.

Por qué importa

Un robot que ve los mismos artículos una y otra vez, como en almacenes o cocinas, puede usar los encuentros anteriores para reducir la incertidumbre sobre la forma en lugar de empezar de cero. El artículo muestra que esto reduce el número de pasos de manipulación adicionales necesarios para colocar objetos en regiones restringidas.

Problema

Los sistemas de pick-and-place para objetos sin modelos 3D conocidos suelen tratar cada objeto como nuevo, aunque ese mismo objeto ya se haya manipulado antes. Para colocar en espacios estrechos deben suponer un volumen conservador para las partes no vistas, lo que obliga a traspasos entre brazos y movimientos de percepción activa adicionales y a veces no deja ningún agarre seguro.

Solución propuesta

Cada objeto manipulado se almacena como un volumen de función de distancia con signo truncada (TSDF) de 1 mm más 64 grupos de características de color ResNet50 desde distintos puntos de vista. Un objeto nuevo se empareja con el conjunto de datos por distancia coseno; después, un filtro de partículas en GPU registra el modelo parcial almacenado y rechaza las poses que quedan en espacio libre observado o por debajo de la mesa. El mismo filtro de partículas sigue el objeto en la mano mientras se fusionan nuevas vistas de profundidad en su modelo.

Ideas clave

• Los modelos de rejilla de ocupación no eran lo bastante precisos para reutilizarlos entre tareas; un volumen TSDF de 1 mm sí lo era
• Descartar las hipótesis de pose que situaban el modelo en espacio libre observado o bajo el plano de apoyo rechazó el único reconocimiento falso antes de que provocara una tarea fallida
• Representar un objeto con varios grupos de características por punto de vista en lugar de una sola característica media eleva la exhaustividad (recall) de 0,211 a 0,886 con el umbral elegido
• Los falsos negativos solo cuestan eficiencia, porque el objeto se trata como nuevo, mientras que los falsos positivos pueden hacer fallar una tarea, por lo que el umbral se fija para una precisión alta
• Renderizar solo una región de interés reduce a la mitad el tiempo por iteración del filtro de partículas frente al método previo de imagen completa

Resultados principales

• Éxito en las tareas 54/55 (98 %) frente a 47/55 (85 %) de la línea base que trata cada objeto como nuevo
• Acciones de traspaso entre brazos en 20/55 tareas (36 %) frente a 37/55 (67 %) de la línea base
• Acciones de percepción activa en 8/55 tareas (14 %) frente a 35/55 (63 %) de la línea base
• Registrar un modelo almacenado redujo el volumen conservador de incertidumbre de forma un 32 % de media y hasta un 75 %
• Objeto reconocido correctamente en 49/55 experimentos, con 5 falsos negativos y 1 falso positivo que la estimación de pose rechazó
• Modelos reconstruidos a menos de 5 mm de distancia de Chamfer de la verdad de terreno para los cuatro objetos; las iteraciones de estimación de pose tardan unos 30 ms frente a unos 60 ms del método previo con 625 partículas

Limitaciones

• Los autores afirman que la representación TSDF no es adecuada para estructuras delgadas, por lo que objetos como los cuencos son difíciles de reconstruir y seguir
• Las escenas desordenadas quedan para trabajo futuro; cada tarea contiene un único objeto aislado
• Los modelos reconstruidos contienen puntos interiores ruidosos por errores de seguimiento cuando el objeto está muy ocluido
• Evaluado con cuatro objetos en 55 tareas por sistema, y se producen falsos negativos cuando la parte visible de un objeto no se ha visto antes

Impacto en el campo

Finalista del premio ICRA 2022 Outstanding Manipulation Paper, con 17 citas. Los autores indican que el estimador de pose basado en filtro de partículas está publicado como código abierto en GitHub como herramienta de anotación de pose 6DoF.

Resumen

Este trabajo propone un pipeline robótico para la recogida y la colocación restringida de objetos sin información previa sobre su forma geométrica. A diferencia de trabajos recientes desarrollados para tareas similares, en los que se suponía que cada objeto era nuevo, el sistema propuesto reconoce los objetos manipulados previamente y realiza la reconstrucción y la reutilización de modelos en línea. A lo largo de un proceso de manipulación permanente, el sistema sigue aprendiendo características de los objetos con los que ha interactuado y actualiza sus modelos reconstruidos. Cada vez que reaparece una instancia de un objeto manipulado previamente, el sistema intenta primero reconocerla y después registrar su modelo reconstruido previamente según la observación actual. Este paso reduce en gran medida la incertidumbre sobre la forma del objeto, lo que permite al sistema razonar incluso sobre partes de los objetos que en ese momento no son observables. Esto se traduce también en una mayor eficiencia de manipulación, ya que reduce la necesidad de percepción activa del objeto objetivo durante la manipulación. Para obtener un modelo reconstruido reutilizable, el pipeline propuesto adopta: i) TSDF para la representación de objetos, y ii) una variante del algoritmo estándar de filtro de partículas para la estimación de la pose y el seguimiento del modelo parcial del objeto. Además, se presenta una forma eficaz de construir y mantener un conjunto de datos de objetos manipulados. Se realiza una secuencia de experimentos de manipulación en el mundo real para mostrar cómo las tareas de manipulación futuras se vuelven más eficaces y eficientes al reutilizar los modelos reconstruidos de objetos manipulados previamente, generados sobre la marcha, en lugar de tratar los objetos como nuevos cada vez.

Enlaces

• arXiv 2109.13910: https://arxiv.org/abs/2109.13910
• DOI 10.48550/arXiv.2109.13910: https://doi.org/10.48550/arXiv.2109.13910
• PDF: https://arxiv.org/pdf/2109.13910v1