Instance Segmentation for Autonomous Log Grasping in Forestry Operations

著者: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

マスク付きの新しい丸太データセットにより、ピクセルレベルのトランスフォーマーが、乱雑で曲がった丸太をボックス候補型のネットワークよりはるかにうまくセグメント化することが示された。自律型フォワーダへ向けた知覚の第一歩である。

重要な理由

クレーンは位置を特定できない丸太をつかめない。丸太ごとのマスクは、曲がった丸太であっても使える把持点を与える。結果はどの検出器の系統が乱雑で細長い物体に適しているかを示しており、これは他のフィールドや農業のピッキングタスクにも当てはまる。

課題

フォワーダのクレーンによる丸太ピッキングの自動化に関する以前の研究は、丸太の姿勢を既知と仮定し、知覚にはほとんど注意を払っていなかった。丸太は細長く、向きがランダムで、重なり合い、しばしば曲がっているため、軸平行のボックスは隣の丸太まで取り込み、ボックスの中心が曲がった丸太から外れることもある。セグメント化された丸太の公開データセットは存在しなかった。

提案手法

著者らは、ケベック州サン＝ジャン湖付近で稼働中のフォワーダに搭載したドライブレコーダーの画像に、貯木場で撮影したカメラ写真と公開動画のフレームを加えて収集し、最上部の丸太にポリゴンマスクでアノテーションした。5 分割交差検証のもとで、Mask R-CNN、向き付きアンカーを用いる Rotated Mask R-CNN、Mask2Former を比較し、データ規模と入力解像度が Mask2Former にどう影響するかを調べた。

主な知見

軸平行の領域候補は隣の丸太まで囲んでしまいマスクを劣化させる。向き付きアンカーは役立つが、領域候補を使わない Mask2Former のほうがはるかに良い
丸太の平均アスペクト比は 8.3、最大で 24 に達し、通常使われる 2:1 や 1:2 のアンカー比から大きく外れている
mAP は学習セットの規模に対してべき乗則に従って増加し、倍増ごとに約 6.87% 上がるため、頭打ちになるまではデータを増やすことが有効と考えられる
以前に学習したネットワークで画像を事前アノテーションすることで、画像 1 枚あたりのラベル付け時間が約 40% 節約された
向き付きボックスの中心が曲がった丸太から外れることがあるため、向き付きボックスではなくマスクが必要である

主な結果

マスク mAP：Mask R-CNN 19.03、Rotated Mask R-CNN 31.83、Mask2Former は Swin-B ImageNet-1k バックボーンで 56.05、ImageNet-22k で 57.53
同じ 4 モデルの平均再現率は 28.60、36.95、64.06、65.16、F1 は 0.23、0.34、0.60、0.61
RTX 3090 上での推論速度は、Mask R-CNN が 12.30 fps、Rotated Mask R-CNN が 5.44 fps、2 つの Mask2Former の変種がそれぞれ 8.33 fps と 8.34 fps
マスク IoU 0.5 において、Mask2Former は 80% の再現率を保ちながら 80% を超える適合率に達する
Mask2Former の入力を 256 × 256 に縮小すると速度は 24.05 fps に上がり、512 × 512 付近では約 5% の適合率低下と引き換えに速度が 3 倍になる
画像 1 枚あたりの丸太の本数は、図 2 のキャプションでは 1 から 30 本、本文では 1 から 29 本とされ、平均は 11.3 本である

制限事項

手法は単一フレームに基づいており、著者らはこれを最悪のシナリオと呼んでいる。動画フレームをまたいだ丸太の追跡は今後の課題である
IoU 0.5 で把持に成功するのに十分だという仮定は、まだ実験的に検証されていない
把持は一切行われていない。論文は 220 枚の画像で知覚のみを評価している
アノテーションと検出の対象は、山の最上部にある丸太だけである

分野への影響

IROS 2022 農業ロボティクス最優秀論文賞（YANMAR 協賛）のファイナリストで、被引用数は 40 である。論文は、TimberSeg 1.0 データセットを論文の出版時に公開するとしている。

概要

丸太のピッキングは自動化が難しいタスクである。実際、丸太は通常、ランダムな向きで重なり合った乱雑な状態にある。丸太ピッキングの自動化に関する最近の研究は通常、丸太の姿勢が既知であると仮定しており、実際の知覚の問題にはほとんど目を向けていない。本論文では、データ駆動型のアプローチを用いて後者に正面から取り組む。まず、TimberSeg 1.0 と名付けた新しいデータセットを導入する。これは高密度にアノテーションされており、丸太のバウンディングボックスとピクセルレベルのマスクのアノテーションの両方を含む。このデータセットは 220 枚の画像と、個別にセグメント化された 2500 本の丸太からなる。次に、このデータセットを用いて、個々の丸太の検出とセグメンテーションのタスクで 3 つのニューラルネットワークアーキテクチャ、すなわち 2 つの領域ベースの手法と 1 つのアテンションベースの手法を比較する。予想どおり、丸太の方向性を考慮できない軸平行の候補領域は 19.03 mAP と性能が低い。回転を考慮した候補領域の手法は結果を大きく改善し、31.83 mAP となる。さらに興味深いことに、回転に関する帰納バイアスを一切持たないトランスフォーマーベースの手法が他の 2 つを上回り、我々のデータセットで 57.53 の mAP を達成した。我々のユースケースは、乱雑で細長い物体に対する領域ベースの手法の限界を示している。また、アテンションベースの手法はピクセルレベルで直接動作するため、この特定のタスクにおけるその可能性も浮き彫りにしている。これらの有望な結果は、このような知覚システムが短期的にはオペレーターの支援に、将来的には丸太ピッキング作業の完全自動化に使えることを示している。

リンク

arXiv 2203.01902: https://arxiv.org/abs/2203.01902
DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
PDF: https://arxiv.org/pdf/2203.01902v1