Instance Segmentation for Autonomous Log Grasping in Forestry Operations

Autoren: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein neuer maskierter Datensatz von Holzstämmen zeigt, dass ein Transformer auf Pixelebene dicht liegende, krumme Stämme weit besser segmentiert als Netze mit Box-Vorschlägen, ein erster Wahrnehmungsschritt hin zu autonomen Rückezügen.

Warum es wichtig ist

Ein Kran kann keinen Stamm greifen, den er nicht lokalisieren kann, und Masken pro Stamm liefern selbst bei krummen Stämmen einen brauchbaren Greifpunkt. Die Ergebnisse zeigen, welche Detektorfamilie zu dicht liegenden, langgestreckten Objekten passt, was auch für andere Greifaufgaben im Feld und in der Landwirtschaft gilt.

Problem

Frühere Arbeiten zur Automatisierung des Stammgreifens mit Rückezugkranen nahmen die Stammposen als bekannt an und schenkten der Wahrnehmung wenig Aufmerksamkeit. Stämme sind langgestreckt, zufällig ausgerichtet, überlappend und oft krumm, sodass achsparallele Boxen benachbarte Stämme einschließen und ein Boxmittelpunkt neben einem gebogenen Stamm liegen kann; einen öffentlichen Datensatz segmentierter Stämme gab es nicht.

Lösungsansatz

Die Autoren sammelten Bilder von Dashcams in arbeitenden Rückezügen in der Nähe des Lac Saint-Jean in Québec sowie Kamerafotos auf Holzlagerplätzen und Frames aus öffentlichen Videos und annotierten die obersten Stämme mit Polygonmasken. Sie verglichen Mask R-CNN, Rotated Mask R-CNN mit orientierten Ankern und Mask2Former mit 5-facher Kreuzvalidierung und untersuchten, wie Datenmenge und Eingabeauflösung Mask2Former beeinflussen.

Wichtigste Erkenntnisse

Achsparallele Regionsvorschläge schließen benachbarte Stämme ein, was die Masken verschlechtert; orientierte Anker helfen, doch Mask2Former ohne Regionsvorschläge schneidet viel besser ab
Stämme haben ein mittleres Seitenverhältnis von 8,3 und bis zu 24, weit entfernt von den üblicherweise verwendeten Ankerverhältnissen 2:1 oder 1:2
mAP wächst mit der Größe des Trainingssatzes nach einem Potenzgesetz, um etwa 6,87 % pro Verdopplung, sodass mehr Daten bis zu einem Plateau helfen sollten
Die Voreinannotation von Bildern mit einem früher trainierten Netz sparte rund 40 % der Labelzeit pro Bild
Masken statt orientierter Boxen sind nötig, weil der Mittelpunkt einer orientierten Box neben einem krummen Stamm liegen kann

Hauptergebnisse

Masken-mAP: Mask R-CNN 19,03, Rotated Mask R-CNN 31,83, Mask2Former 56,05 mit einem Swin-B-Backbone auf ImageNet-1k und 57,53 mit ImageNet-22k
Durchschnittlicher Recall 28,60, 36,95, 64,06 und 65,16 sowie F1 0,23, 0,34, 0,60 und 0,61 für dieselben vier Modelle
Inferenzgeschwindigkeit von 12,30 fps für Mask R-CNN, 5,44 fps für Rotated Mask R-CNN sowie 8,33 und 8,34 fps für die beiden Mask2Former-Varianten auf einer RTX 3090
Bei einer Masken-IoU von 0,5 erreicht Mask2Former eine Präzision über 80 % bei 80 % Recall
Eine Verkleinerung der Mask2Former-Eingabe auf 256 × 256 steigert die Geschwindigkeit auf 24,05 fps; bei etwa 512 × 512 verdreifacht sich die Geschwindigkeit bei etwa 5 % Präzisionsverlust
Die Zahl der Stämme pro Bild wird in der Bildunterschrift von Fig. 2 mit 1 bis 30 und im Text mit 1 bis 29 angegeben, im Mittel 11,3

Einschränkungen

Der Ansatz arbeitet mit Einzelbildern, was die Autoren ein Worst-Case-Szenario nennen; das Verfolgen von Stämmen über Videoframes hinweg bleibt künftiger Arbeit überlassen
Die Annahme, dass eine IoU von 0,5 für einen erfolgreichen Griff ausreicht, wurde noch nicht experimentell überprüft
Es wurde nicht gegriffen: Das Paper evaluiert nur die Wahrnehmung, an 220 Bildern
Nur die Stämme oben auf einem Stapel werden annotiert und erkannt

Wirkung auf das Fachgebiet

Finalist für den IROS 2022 Best Paper Award on Agri-Robotics (sponsored by YANMAR), mit 40 Zitierungen. Das Paper gibt an, dass der Datensatz TimberSeg 1.0 mit der Veröffentlichung öffentlich zugänglich gemacht wird.

Zusammenfassung

Das Greifen von Holzstämmen ist eine schwer zu automatisierende Aufgabe. Stämme liegen nämlich meist ungeordnet, zufällig ausgerichtet und überlappend. Neuere Arbeiten zur Automatisierung des Stammgreifens nehmen in der Regel an, dass die Pose der Stämme bekannt ist, und schenken dem eigentlichen Wahrnehmungsproblem wenig Beachtung. In diesem Beitrag gehen wir Letzteres direkt mit einem datengetriebenen Ansatz an. Zunächst stellen wir einen neuen Datensatz namens TimberSeg 1.0 vor, der dicht annotiert ist, d. h. sowohl Bounding Boxes als auch Maskenannotationen auf Pixelebene für Stämme enthält. Dieser Datensatz umfasst 220 Bilder mit 2.500 einzeln segmentierten Stämmen. Mit unserem Datensatz vergleichen wir dann drei neuronale Netzarchitekturen für die Aufgabe der Detektion und Segmentierung einzelner Stämme: zwei regionenbasierte Methoden und eine aufmerksamkeitsbasierte Methode. Wenig überraschend zeigen unsere Ergebnisse, dass achsparallele Vorschläge, die die gerichtete Natur von Stämmen nicht berücksichtigen, mit 19,03 mAP unterdurchschnittlich abschneiden. Eine rotationsbewusste Vorschlagsmethode verbessert die Ergebnisse deutlich auf 31,83 mAP. Interessanter ist, dass ein Transformer-basierter Ansatz ohne jeden induktiven Bias bezüglich Rotationen die beiden anderen übertraf und auf unserem Datensatz einen mAP von 57,53 erreichte. Unser Anwendungsfall zeigt die Grenzen regionenbasierter Ansätze für ungeordnete, langgestreckte Objekte. Er unterstreicht zudem das Potenzial aufmerksamkeitsbasierter Methoden für diese spezielle Aufgabe, da sie direkt auf Pixelebene arbeiten. Diese ermutigenden Ergebnisse deuten darauf hin, dass ein solches Wahrnehmungssystem kurzfristig zur Unterstützung der Bediener oder künftig zur vollständigen Automatisierung des Stammgreifens eingesetzt werden könnte.

Open Source Robotics