Interactive Object Segmentation in 3D Point Clouds

Autores: Theodora Kontogianni, Ekin Celikkan, Siyu Tang, Konrad Schindler · ICRA 2023

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Los usuarios hacen clic en puntos positivos y negativos directamente en una nube de puntos 3D; una red de vóxeles dispersos entrenada solo con ScanNet refina la máscara del objeto y se transfiere a otros conjuntos de datos de interiores y exteriores.

Por qué importa

Los modelos de percepción robótica necesitan nubes de puntos etiquetadas, y este método trabaja solo con la nube de puntos, sin imágenes alineadas, y puede añadirse a cualquier red de segmentación 3D basada en puntos o en vóxeles. También segmenta clases ausentes de su conjunto de entrenamiento, y los autores muestran que puede refinar máscaras de instancias automáticas y ground truth existente con unos pocos clics.

Problema

Las etiquetas 3D densas son caras: las escenas contienen millones de puntos y las interfaces de etiquetado 3D son lentas. Los métodos interactivos 3D anteriores tomaban la retroalimentación del usuario en imágenes 2D, lo que requiere imágenes alineadas con poses de cámara conocidas y alternar entre vistas 2D y 3D, mientras que la segmentación de instancias totalmente supervisada necesita grandes conjuntos de entrenamiento, no generaliza a clases no vistas y produce máscaras demasiado burdas para servir como ground truth.

Solución propuesta

El usuario hace clic en puntos de la escena 3D; cada clic marca todos los puntos dentro de un cubo pequeño (5 cm de arista, unos 30 puntos en ScanNet) en uno de dos canales de entrada adicionales, para clics positivos y negativos. Una red de convolución dispersa de MinkowskiEngine, inicializada con pesos de segmentación semántica de ScanNetV2, produce una máscara binaria de primer plano/fondo y se ajusta con clics simulados aleatoriamente; en el momento de la prueba, un usuario simulado hace clic en el centro de la mayor región de error. Una adaptación en línea opcional actualiza el modelo a partir de los clics del usuario durante el etiquetado.

Ideas clave

• Codificar los clics como cubos pequeños encaja con las herramientas de etiquetado 3D existentes que usan cajas delimitadoras; una arista de 5 cm funcionó mejor (NOC@90 de 14,72, frente a 16,09 con 10 cm).
• Un modelo entrenado solo con ScanNetV2 necesitó menos clics en S3DIS que en su propio conjunto de validación, mientras que SemanticKITTI (disperso, sin color, sensor distinto) necesitó muchos más.
• La adaptación en línea a partir de los clics del usuario ahorró unos 4 clics en SemanticKITTI y ayudó con clases de S3DIS ausentes en ScanNet, como viga y tablero.
• Los clics simulados fueron representativos de anotadores reales en un estudio con tres usuarios.
• Las máscaras con un 80 % de IoU todavía contienen regiones erróneas significativas, por lo que los autores sostienen que el etiquetado de ground truth debería apuntar a un IoU de aproximadamente el 90 %.

Resultados principales

• Validación de ScanNetV2, clics necesarios para alcanzar un 80 / 85 / 90 % de IoU: 8,3 / 10,6 / 13,6 en clases vistas y 11,7 / 14,1 / 16,5 en clases no vistas.
• AP de segmentación de instancias 3D en las clases del benchmark ScanNetV2: 61,8 con 5 clics por objeto en la Tabla 1 (el texto da 61,5) y 75,5 con 10 clics, frente a 55,1 de HAIS agnóstico a la clase y 49,4 de SSTNet.
• Clases de ScanNetV2 no vistas: AP de 13,5 con 1 clic, 33,1 con 3 clics y 60,3 con 10 clics, frente a 13,8 de HAIS agnóstico a la clase.
• S3DIS Area 5 sin ajuste fino: 6,8 / 8,9 / 11,8 clics hasta un 80 / 85 / 90 % de IoU, y 6,5 / 8,6 / 11,5 con adaptación en línea.
• SemanticKITTI: 19,4 / 19,5 / 19,6 clics hasta un 80 / 85 / 90 % de IoU, reducidos a 15,1 / 15,4 / 15,9 con adaptación en línea.
• Estudio con usuarios: en la difícil clase «picture», el IoU tras 5 clics fue de 49,6 para los humanos frente a 32,0 para el simulador; en objetos aleatorios, el IoU tras 10 clics fue de 82,0 frente a 84,8.

Limitaciones

• El trabajo es una herramienta de percepción 3D: segmenta objetos en nubes de puntos mediante los clics de una persona, y en sus experimentos no se usa ningún robot.
• Los autores mencionan como trabajo futuro enriquecer la entrada con backbones semánticos y de instancias preentrenados.
• Las máscaras de interacciones anteriores todavía no se reintroducen como entrada para la siguiente corrección.
• El entrenamiento muestrea los clics al azar en lugar de con una estrategia iterativa que emule a un usuario real, y ninguna función de pérdida aborda el desequilibrio de clases entre primer plano y fondo.
• Los escaneos de exteriores dispersos y sin color necesitan muchos más clics: unos 19,5 para alcanzar un 80–90 % de IoU en SemanticKITTI sin adaptación.

Impacto en el campo

Finalista del premio ICRA 2023 Outstanding Physical Human-Robot Interaction Paper, con 36 citas. La copia con licencia no enlaza código ni datos; describe una herramienta de anotación creada para el estudio con usuarios, pero no indica que se haya publicado.

Resumen

El aprendizaje profundo depende de grandes cantidades de datos de entrenamiento etiquetados. El etiquetado manual es caro y representa un cuello de botella, especialmente para tareas como la segmentación, en las que las etiquetas deben asignarse hasta el nivel de puntos individuales. Ese reto es aún más abrumador para los datos 3D: las nubes de puntos 3D contienen millones de puntos por escena, y su anotación precisa requiere notablemente más tiempo. La situación se agrava aún más por la complejidad añadida de las interfaces de usuario para nubes de puntos 3D, que ralentiza todavía más la anotación. En el caso de la segmentación de imágenes 2D, se han vuelto comunes las técnicas interactivas, en las que la retroalimentación del usuario en forma de unos pocos clics guía un algoritmo de segmentación –hoy en día normalmente una red neuronal– para lograr un etiquetado preciso con un esfuerzo mínimo. Sorprendentemente, la segmentación interactiva de escenas 3D no se ha explorado mucho. Trabajos anteriores han intentado obtener máscaras de segmentación 3D precisas usando retroalimentación humana del dominio 2D, lo cual solo es posible si se dispone de imágenes correctamente alineadas junto con la nube de puntos 3D, e implica alternar entre los dominios 2D y 3D. Aquí presentamos un método de segmentación interactiva de objetos 3D en el que el usuario interactúa directamente con la nube de puntos 3D. Es importante destacar que nuestro modelo no requiere datos de entrenamiento del dominio de destino: entrenado con ScanNet, funciona bien en varios otros conjuntos de datos con características de datos diferentes, así como con clases de objetos diferentes. Además, nuestro método es ortogonal a los métodos de segmentación (de instancias) supervisada y puede combinarse con ellos para refinar segmentaciones automáticas con un esfuerzo humano mínimo.

Enlaces

• arXiv 2204.07183: https://arxiv.org/abs/2204.07183
• DOI 10.1109/ICRA48891.2023.10160904: https://doi.org/10.1109/ICRA48891.2023.10160904
• PDF: https://arxiv.org/pdf/2204.07183v1