Instance Segmentation for Autonomous Log Grasping in Forestry Operations

Autori: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Un nuovo dataset di tronchi con maschere mostra che un Transformer a livello di pixel segmenta tronchi ammassati e storti molto meglio delle reti a proposte di riquadri, un primo passo di percezione verso forwarder autonomi.

Perché è importante

Una gru non può afferrare un tronco che non riesce a localizzare, e le maschere per singolo tronco danno un punto di presa utilizzabile anche per tronchi storti. I risultati mostrano quale famiglia di rilevatori si adatta a oggetti allungati e ammassati, il che vale anche per altri compiti di prelievo in campo e in agricoltura.

Problema

I lavori precedenti sull'automazione del prelievo dei tronchi con le gru dei forwarder assumevano note le pose dei tronchi e dedicavano poca attenzione alla percezione. I tronchi sono allungati, orientati in modo casuale, sovrapposti e spesso storti, quindi i riquadri allineati agli assi includono i tronchi vicini e il centro di un riquadro può cadere fuori da un tronco curvo; non esisteva alcun dataset pubblico di tronchi segmentati.

Soluzione proposta

Gli autori hanno raccolto immagini da dashcam su forwarder in attività vicino al lago Saint-Jean, Québec, oltre a foto scattate in segherie e fotogrammi di video pubblici, e hanno annotato i tronchi superiori con maschere poligonali. Hanno confrontato Mask R-CNN, Rotated Mask R-CNN con ancore orientate e Mask2Former con una validazione incrociata a 5 fold, e hanno studiato come la quantità di dati e la risoluzione d'ingresso influenzino Mask2Former.

Idee chiave

• Le proposte di regioni allineate agli assi racchiudono i tronchi vicini, il che degrada le maschere; le ancore orientate aiutano, ma Mask2Former, senza proposte di regioni, fa molto meglio
• I tronchi hanno un rapporto d'aspetto medio di 8,3 e fino a 24, molto lontano dai rapporti delle ancore di 2:1 o 1:2 usati di solito
• Il mAP cresce con la dimensione dell'insieme di addestramento secondo una legge di potenza, circa il 6,87 % per ogni raddoppio, quindi più dati dovrebbero aiutare fino a un plateau
• Usare una rete addestrata in precedenza per pre-annotare le immagini ha fatto risparmiare circa il 40 % del tempo di etichettatura per immagine
• Servono maschere invece di riquadri orientati perché il centro di un riquadro orientato può cadere fuori da un tronco storto

Risultati principali

• mAP delle maschere: Mask R-CNN 19,03, Rotated Mask R-CNN 31,83, Mask2Former 56,05 con un backbone Swin-B ImageNet-1k e 57,53 con ImageNet-22k
• Recall medio di 28,60, 36,95, 64,06 e 65,16, e F1 di 0,23, 0,34, 0,60 e 0,61 per gli stessi quattro modelli
• Velocità di inferenza di 12,30 fps per Mask R-CNN, 5,44 fps per Rotated Mask R-CNN, e 8,33 e 8,34 fps per le due varianti di Mask2Former, su una RTX 3090
• Con IoU delle maschere di 0,5, Mask2Former raggiunge una precisione superiore all'80 % mantenendo l'80 % di recall
• Ridurre l'ingresso di Mask2Former a 256 × 256 porta la velocità a 24,05 fps; intorno a 512 × 512 la velocità triplica con un calo di circa il 5 % della precisione
• Il numero di tronchi per immagine è indicato da 1 a 30 nella didascalia della Fig. 2 e da 1 a 29 nel testo, con una media di 11,3

Limiti

• L'approccio usa un solo fotogramma, che gli autori definiscono lo scenario peggiore; il tracciamento dei tronchi tra i fotogrammi video è lasciato a lavori futuri
• L'ipotesi che un IoU di 0,5 basti per una presa riuscita non è ancora stata verificata sperimentalmente
• Non è stata eseguita alcuna presa: l'articolo valuta solo la percezione, su 220 immagini
• Vengono annotati e rilevati solo i tronchi in cima a una catasta

Impatto sul settore

Finalista dell'IROS 2022 Best Paper Award on Agri-Robotics (sponsorizzato da YANMAR), con 40 citazioni. L'articolo afferma che il dataset TimberSeg 1.0 sarà reso pubblico al momento della pubblicazione.

Abstract

Il prelievo di tronchi di legno è un compito difficile da automatizzare. In effetti, i tronchi si presentano di solito in configurazioni disordinate, orientati in modo casuale e sovrapposti. I lavori recenti sull'automazione del prelievo dei tronchi assumono in genere che la posa dei tronchi sia nota, dando poca considerazione al problema effettivo della percezione. In questo articolo affrontiamo direttamente quest'ultimo, con un approccio basato sui dati. Per prima cosa introduciamo un nuovo dataset, chiamato TimberSeg 1.0, annotato in modo denso, ovvero che include sia riquadri di delimitazione sia annotazioni di maschere a livello di pixel per i tronchi. Questo dataset comprende 220 immagini con 2500 tronchi segmentati singolarmente. Usando il nostro dataset, confrontiamo poi tre architetture di reti neurali nel compito di rilevamento e segmentazione dei singoli tronchi: due metodi basati su regioni e uno basato sull'attenzione. Com'era prevedibile, i nostri risultati mostrano che le proposte allineate agli assi, non tenendo conto della natura direzionale dei tronchi, rendono meno, con 19,03 di mAP. Un metodo di proposte che tiene conto della rotazione migliora significativamente i risultati, portandoli a 31,83 di mAP. Più interessante ancora, un approccio basato su Transformer, senza alcun bias induttivo sulle rotazioni, ha superato gli altri due, raggiungendo un mAP di 57,53 sul nostro dataset. Il nostro caso d'uso dimostra i limiti degli approcci basati su regioni per oggetti allungati e ammassati. Mette inoltre in luce il potenziale dei metodi basati sull'attenzione per questo compito specifico, poiché lavorano direttamente a livello di pixel. Questi risultati incoraggianti indicano che un tale sistema di percezione potrebbe essere usato per assistere gli operatori nel breve termine, o per automatizzare completamente le operazioni di prelievo dei tronchi in futuro.

Link

• arXiv 2203.01902: https://arxiv.org/abs/2203.01902
• DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
• PDF: https://arxiv.org/pdf/2203.01902v1