Instance Segmentation for Autonomous Log Grasping in Forestry Operations

Autores: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

Licencias

• Acceso abierto
• Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Un nuevo conjunto de datos de troncos con máscaras muestra que un transformador a nivel de píxel segmenta troncos amontonados y torcidos mucho mejor que las redes de propuestas de cajas, un primer paso de percepción hacia autocargadores forestales (forwarders) autónomos.

Por qué importa

Una grúa no puede agarrar un tronco que no puede localizar, y las máscaras por tronco dan un punto de agarre utilizable incluso para troncos torcidos. Los resultados muestran qué familia de detectores conviene para objetos alargados y amontonados, lo que también se aplica a otras tareas de recogida en campo y agrícolas.

Problema

Los trabajos anteriores sobre la automatización de la recogida de troncos con grúas de autocargadores suponían conocidas las poses de los troncos y prestaban poca atención a la percepción. Los troncos son alargados, están orientados al azar, se superponen y a menudo están torcidos, por lo que las cajas alineadas a los ejes engloban troncos vecinos y el centro de una caja puede caer fuera de un tronco curvado; no existía ningún conjunto de datos público de troncos segmentados.

Solución propuesta

Los autores recopilaron imágenes de cámaras de salpicadero en autocargadores en funcionamiento cerca del lago Saint-Jean, Quebec, además de fotos de cámara en aserraderos y fotogramas de vídeos públicos, y anotaron los troncos superiores con máscaras poligonales. Compararon Mask R-CNN, Rotated Mask R-CNN con anclas orientadas y Mask2Former con validación cruzada de 5 particiones, y estudiaron cómo afectan a Mask2Former el tamaño de los datos y la resolución de entrada.

Ideas clave

• Las propuestas de regiones alineadas a los ejes engloban troncos vecinos, lo que degrada las máscaras; las anclas orientadas ayudan, pero Mask2Former, sin propuestas de regiones, lo hace mucho mejor
• Los troncos tienen una relación de aspecto media de 8,3 y de hasta 24, muy lejos de las relaciones de anclas 2:1 o 1:2 que se usan habitualmente
• El mAP crece con el tamaño del conjunto de entrenamiento siguiendo una ley de potencias, alrededor de un 6,87 % por cada duplicación, por lo que más datos deberían ayudar hasta llegar a una meseta
• Usar una red entrenada previamente para preanotar las imágenes ahorró alrededor del 40 % del tiempo de etiquetado por imagen
• Se necesitan máscaras en lugar de cajas orientadas porque el centro de una caja orientada puede quedar fuera de un tronco torcido

Resultados principales

• mAP de máscara: Mask R-CNN 19,03, Rotated Mask R-CNN 31,83, Mask2Former 56,05 con un backbone Swin-B ImageNet-1k y 57,53 con ImageNet-22k
• Exhaustividad media de 28,60, 36,95, 64,06 y 65,16, y F1 de 0,23, 0,34, 0,60 y 0,61 para los mismos cuatro modelos
• Velocidad de inferencia de 12,30 fps para Mask R-CNN, 5,44 fps para Rotated Mask R-CNN, y 8,33 y 8,34 fps para las dos variantes de Mask2Former, en una RTX 3090
• Con un IoU de máscara de 0,5, Mask2Former alcanza una precisión superior al 80 % manteniendo un 80 % de exhaustividad
• Reducir la entrada de Mask2Former a 256 × 256 eleva la velocidad a 24,05 fps; en torno a 512 × 512 la velocidad se triplica con una caída de alrededor del 5 % en la precisión
• El número de troncos por imagen se da como de 1 a 30 en el pie de la Fig. 2 y de 1 a 29 en el texto, con una media de 11,3

Limitaciones

• El enfoque usa un solo fotograma, lo que los autores llaman el peor escenario posible; el seguimiento de los troncos entre fotogramas de vídeo queda para trabajo futuro
• La suposición de que un IoU de 0,5 basta para un agarre exitoso aún no se ha verificado experimentalmente
• No se realizó ningún agarre: el artículo evalúa solo la percepción, en 220 imágenes
• Solo se anotan y detectan los troncos de la parte superior de una pila

Impacto en el campo

Finalista del IROS 2022 Best Paper Award on Agri-Robotics (patrocinado por YANMAR), con 40 citas. El artículo indica que el conjunto de datos TimberSeg 1.0 se hará público tras la publicación.

Resumen

La recogida de troncos de madera es una tarea difícil de automatizar. De hecho, los troncos suelen presentarse en configuraciones desordenadas, orientados al azar y superpuestos. Los trabajos recientes sobre la automatización de la recogida de troncos suelen suponer que la pose de los troncos es conocida, prestando poca atención al problema real de percepción. En este artículo abordamos de lleno este último, con un enfoque basado en datos. En primer lugar, presentamos un nuevo conjunto de datos, llamado TimberSeg 1.0, densamente anotado, es decir, que incluye tanto cajas delimitadoras como anotaciones de máscaras a nivel de píxel para los troncos. Este conjunto de datos consta de 220 imágenes con 2500 troncos segmentados individualmente. Con nuestro conjunto de datos, comparamos después tres arquitecturas de redes neuronales en la tarea de detección y segmentación de troncos individuales: dos métodos basados en regiones y uno basado en atención. Como era de esperar, nuestros resultados muestran que las propuestas alineadas a los ejes, al no tener en cuenta la naturaleza direccional de los troncos, rinden por debajo con 19,03 de mAP. Un método de propuestas que tiene en cuenta la rotación mejora significativamente los resultados hasta 31,83 de mAP. Más interesante aún, un enfoque basado en transformadores, sin ningún sesgo inductivo sobre las rotaciones, superó a los otros dos y alcanzó un mAP de 57,53 en nuestro conjunto de datos. Nuestro caso de uso demuestra las limitaciones de los enfoques basados en regiones para objetos alargados y amontonados. También pone de relieve el potencial de los métodos basados en atención para esta tarea concreta, ya que trabajan directamente a nivel de píxel. Estos resultados alentadores indican que un sistema de percepción así podría usarse para ayudar a los operadores a corto plazo, o para automatizar por completo las operaciones de recogida de troncos en el futuro.

Enlaces

• arXiv 2203.01902: https://arxiv.org/abs/2203.01902
• DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
• PDF: https://arxiv.org/pdf/2203.01902v1