Instance Segmentation for Autonomous Log Grasping in Forestry Operations

Autores: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

Licenças

Acesso aberto
Artigo: CC BY 4.0

Tudo o que segue se baseia no artigo completo sob a licença CC BY 4.0; sua figura é mostrada com crédito aos autores.

Em resumo

Um novo conjunto de dados de toras com máscaras mostra que um transformador em nível de pixel segmenta toras amontoadas e tortas muito melhor do que redes de propostas de caixas, um primeiro passo de percepção rumo a forwarders autônomos.

Por que importa

Uma grua não consegue pegar uma tora que não consegue localizar, e máscaras por tora dão um ponto de preensão utilizável mesmo para toras tortas. Os resultados mostram qual família de detectores se adequa a objetos alongados e amontoados, o que também vale para outras tarefas de coleta em campo e na agricultura.

Problema

Trabalhos anteriores sobre a automação da coleta de toras com gruas de forwarders supunham conhecidas as poses das toras e davam pouca atenção à percepção. As toras são alongadas, orientadas aleatoriamente, sobrepostas e muitas vezes tortas, então caixas alinhadas aos eixos englobam toras vizinhas e o centro de uma caixa pode cair fora de uma tora curvada; não existia nenhum conjunto de dados público de toras segmentadas.

Solução proposta

Os autores coletaram imagens de câmeras veiculares em forwarders em operação perto do lago Saint-Jean, Quebec, além de fotos de câmera em pátios de madeira e quadros de vídeos públicos, e anotaram as toras do topo com máscaras poligonais. Compararam Mask R-CNN, Rotated Mask R-CNN com âncoras orientadas e Mask2Former com validação cruzada de 5 partições, e estudaram como o tamanho dos dados e a resolução de entrada afetam o Mask2Former.

Principais ideias

Propostas de regiões alinhadas aos eixos englobam toras vizinhas, o que degrada as máscaras; âncoras orientadas ajudam, mas o Mask2Former, sem propostas de regiões, se sai muito melhor
As toras têm razão de aspecto média de 8,3 e de até 24, muito longe das razões de âncora de 2:1 ou 1:2 normalmente usadas
O mAP cresce com o tamanho do conjunto de treinamento seguindo uma lei de potência, cerca de 6,87 % a cada duplicação, então mais dados devem ajudar até um platô
Usar uma rede treinada anteriormente para pré-anotar as imagens economizou cerca de 40 % do tempo de rotulagem por imagem
São necessárias máscaras em vez de caixas orientadas porque o centro de uma caixa orientada pode ficar fora de uma tora torta

Principais resultados

mAP de máscara: Mask R-CNN 19,03, Rotated Mask R-CNN 31,83, Mask2Former 56,05 com backbone Swin-B ImageNet-1k e 57,53 com ImageNet-22k
Revocação média de 28,60, 36,95, 64,06 e 65,16, e F1 de 0,23, 0,34, 0,60 e 0,61 para os mesmos quatro modelos
Velocidade de inferência de 12,30 fps para o Mask R-CNN, 5,44 fps para o Rotated Mask R-CNN, e 8,33 e 8,34 fps para as duas variantes do Mask2Former, em uma RTX 3090
Com IoU de máscara de 0,5, o Mask2Former atinge precisão acima de 80 % mantendo 80 % de revocação
Reduzir a entrada do Mask2Former para 256 × 256 eleva a velocidade para 24,05 fps; por volta de 512 × 512 a velocidade triplica com uma queda de cerca de 5 % na precisão
O número de toras por imagem é dado como de 1 a 30 na legenda da Fig. 2 e de 1 a 29 no texto, com média de 11,3

Limitações

A abordagem usa um único quadro, o que os autores chamam de cenário de pior caso; o rastreamento das toras entre quadros de vídeo fica para trabalho futuro
A suposição de que um IoU de 0,5 é suficiente para uma preensão bem-sucedida ainda não foi verificada experimentalmente
Nenhuma preensão foi realizada: o artigo avalia apenas a percepção, em 220 imagens
Apenas as toras do topo de uma pilha são anotadas e detectadas

Impacto na área

Finalista do IROS 2022 Best Paper Award on Agri-Robotics (patrocinado pela YANMAR), com 40 citações. O artigo informa que o conjunto de dados TimberSeg 1.0 será tornado público após a publicação.

Resumo

A coleta de toras de madeira é uma tarefa difícil de automatizar. De fato, as toras geralmente aparecem em configurações desordenadas, orientadas aleatoriamente e sobrepostas. Trabalhos recentes sobre a automação da coleta de toras costumam supor que a pose das toras é conhecida, dando pouca atenção ao problema real de percepção. Neste artigo, tratamos diretamente deste último, usando uma abordagem orientada a dados. Primeiro, apresentamos um novo conjunto de dados, chamado TimberSeg 1.0, densamente anotado, isto é, que inclui tanto caixas delimitadoras quanto anotações de máscara em nível de pixel para as toras. Esse conjunto de dados contém 220 imagens com 2500 toras segmentadas individualmente. Usando nosso conjunto de dados, comparamos em seguida três arquiteturas de redes neurais na tarefa de detecção e segmentação de toras individuais: dois métodos baseados em regiões e um baseado em atenção. Sem surpresa, nossos resultados mostram que as propostas alinhadas aos eixos, por não levarem em conta a natureza direcional das toras, têm desempenho inferior, com 19,03 de mAP. Um método de propostas sensível à rotação melhora significativamente os resultados, para 31,83 de mAP. Mais interessante, uma abordagem baseada em transformadores, sem nenhum viés indutivo sobre rotações, superou as outras duas, atingindo um mAP de 57,53 em nosso conjunto de dados. Nosso caso de uso demonstra as limitações das abordagens baseadas em regiões para objetos alongados e amontoados. Também destaca o potencial dos métodos baseados em atenção nesta tarefa específica, já que eles trabalham diretamente em nível de pixel. Esses resultados animadores indicam que tal sistema de percepção poderia ser usado para auxiliar os operadores no curto prazo ou para automatizar totalmente as operações de coleta de toras no futuro.

Open Source Robotics