Instance Segmentation for Autonomous Log Grasping in Forestry Operations

Auteurs: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

Licences

• Accès libre
• Article: CC BY 4.0

Tout ce qui suit s'appuie sur l'article complet sous sa licence CC BY 4.0 ; sa figure est montrée en citant les auteurs.

En bref

Un nouveau jeu de données masqué de billes de bois montre qu'un Transformer travaillant au niveau du pixel segmente bien mieux les billes tordues et enchevêtrées que les réseaux à propositions de boîtes, une première étape de perception vers des porteurs forestiers autonomes.

Pourquoi c'est important

Une grue ne peut pas saisir une bille qu'elle ne sait pas localiser, et des masques par bille donnent un point de saisie utilisable même pour des billes tordues. Les résultats montrent quelle famille de détecteurs convient aux objets allongés et encombrés, ce qui vaut aussi pour d'autres tâches de saisie sur le terrain et en agriculture.

Problème

Les travaux antérieurs sur l'automatisation de la saisie de billes avec des grues de porteurs forestiers supposaient les poses des billes connues et accordaient peu d'attention à la perception. Les billes sont allongées, orientées aléatoirement, se chevauchent et sont souvent tordues, de sorte que des boîtes alignées sur les axes englobent des billes voisines et que le centre d'une boîte peut tomber hors d'une bille courbée ; aucun jeu de données public de billes segmentées n'existait.

Solution proposée

Les auteurs ont collecté des images de caméras embarquées dans des porteurs forestiers en activité près du lac Saint-Jean, au Québec, ainsi que des photos prises dans des parcs à bois et des images extraites de vidéos publiques, et ont annoté les billes du dessus avec des masques polygonaux. Ils ont comparé Mask R-CNN, Rotated Mask R-CNN avec ancres orientées, et Mask2Former en validation croisée à 5 plis, et ont étudié l'effet de la taille des données et de la résolution d'entrée sur Mask2Former.

Idées clés

• Les propositions de régions alignées sur les axes englobent les billes voisines, ce qui dégrade les masques ; des ancres orientées aident, mais Mask2Former, sans propositions de régions, fait beaucoup mieux
• Les billes ont un rapport d'aspect moyen de 8,3 et jusqu'à 24, loin des rapports d'ancres 2:1 ou 1:2 habituellement utilisés
• La mAP croît avec la taille de l'ensemble d'entraînement selon une loi de puissance, d'environ 6,87 % par doublement, de sorte que davantage de données devrait aider jusqu'à un plateau
• Utiliser un réseau entraîné précédemment pour pré-annoter les images a permis d'économiser environ 40 % du temps d'étiquetage par image
• Des masques sont nécessaires plutôt que des boîtes orientées, car le centre d'une boîte orientée peut se trouver hors d'une bille tordue

Principaux résultats

• mAP des masques : Mask R-CNN 19,03, Rotated Mask R-CNN 31,83, Mask2Former 56,05 avec un backbone Swin-B ImageNet-1k et 57,53 avec ImageNet-22k
• Rappel moyen de 28,60, 36,95, 64,06 et 65,16, et F1 de 0,23, 0,34, 0,60 et 0,61 pour les mêmes quatre modèles
• Vitesse d'inférence de 12,30 fps pour Mask R-CNN, 5,44 fps pour Rotated Mask R-CNN, et 8,33 et 8,34 fps pour les deux variantes de Mask2Former, sur une RTX 3090
• À une IoU de masque de 0,5, Mask2Former atteint une précision supérieure à 80 % tout en conservant 80 % de rappel
• Réduire l'entrée de Mask2Former à 256 × 256 porte la vitesse à 24,05 fps ; vers 512 × 512, la vitesse triple pour une baisse de précision d'environ 5 %
• Le nombre de billes par image est donné de 1 à 30 dans la légende de la Fig. 2 et de 1 à 29 dans le texte, avec une moyenne de 11,3

Limites

• L'approche fonctionne image par image, ce que les auteurs appellent le pire scénario ; le suivi des billes à travers les images vidéo est laissé à des travaux futurs
• L'hypothèse selon laquelle une IoU de 0,5 suffit pour une saisie réussie n'a pas encore été vérifiée expérimentalement
• Aucune saisie n'a été effectuée : l'article n'évalue que la perception, sur 220 images
• Seules les billes du dessus d'une pile sont annotées et détectées

Impact sur le domaine

Finaliste du IROS 2022 Best Paper Award on Agri-Robotics (sponsored by YANMAR), avec 40 citations. L'article indique que le jeu de données TimberSeg 1.0 sera rendu public lors de la publication.

Résumé

La saisie de billes de bois est une tâche difficile à automatiser. En effet, les billes se présentent généralement en configurations encombrées, orientées aléatoirement et se chevauchant. Les travaux récents sur l'automatisation de la saisie de billes supposent généralement que la pose des billes est connue, en accordant peu d'attention au problème de perception proprement dit. Dans cet article, nous nous attaquons directement à ce dernier, au moyen d'une approche fondée sur les données. Nous présentons d'abord un nouveau jeu de données, nommé TimberSeg 1.0, densément annoté, c'est-à-dire comprenant à la fois des boîtes englobantes et des annotations de masques au niveau du pixel pour les billes. Ce jeu de données comprend 220 images avec 2 500 billes segmentées individuellement. À l'aide de notre jeu de données, nous comparons ensuite trois architectures de réseaux de neurones sur la tâche de détection et de segmentation de billes individuelles : deux méthodes fondées sur des régions et une méthode fondée sur l'attention. Sans surprise, nos résultats montrent que les propositions alignées sur les axes, qui ne tiennent pas compte de la nature directionnelle des billes, sont moins performantes, avec 19,03 mAP. Une méthode de proposition tenant compte de la rotation améliore nettement les résultats, à 31,83 mAP. Plus intéressant encore, une approche fondée sur un Transformer, sans aucun biais inductif sur les rotations, a surpassé les deux autres, atteignant une mAP de 57,53 sur notre jeu de données. Notre cas d'usage démontre les limites des approches fondées sur des régions pour des objets allongés et encombrés. Il met aussi en évidence le potentiel des méthodes fondées sur l'attention pour cette tâche précise, puisqu'elles travaillent directement au niveau du pixel. Ces résultats encourageants indiquent qu'un tel système de perception pourrait servir à assister les opérateurs à court terme, ou à automatiser entièrement les opérations de saisie de billes à l'avenir.

Liens

• arXiv 2203.01902: https://arxiv.org/abs/2203.01902
• DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
• PDF: https://arxiv.org/pdf/2203.01902v1