Instance Segmentation for Autonomous Log Grasping in Forestry Operations

作者: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個新的附遮罩原木資料集顯示，像素層級的 Transformer 分割雜亂、彎曲原木的效果遠勝框候選網路，這是邁向自主集材機的第一步感知工作。

為何重要

起重臂無法抓取它無法定位的原木，而逐根原木的遮罩即使對彎曲原木也能給出可用的抓取點。結果顯示哪一類偵測器適合雜亂、細長的物體，這也適用於其他野外與農業的夾取任務。

問題

先前關於以集材機起重臂自動夾取原木的研究，假設原木姿態已知，很少關注感知。原木細長、方向隨機、彼此重疊且經常彎曲，因此軸對齊的框會框進相鄰原木，框的中心也可能落在彎曲原木之外；過去並沒有分割原木的公開資料集。

提出的方法

作者從魁北克聖讓湖附近作業中集材機上的行車紀錄器蒐集影像，再加上在木材場拍攝的相機照片與公開影片中的影格，並以多邊形遮罩標註最上層的原木。他們在 5 折交叉驗證下比較 Mask R-CNN、使用有向錨框的 Rotated Mask R-CNN 與 Mask2Former，並研究資料規模與輸入解析度如何影響 Mask2Former。

關鍵見解

軸對齊的區域候選框會把相鄰原木框進來，進而降低遮罩品質；有向錨框有幫助，但不使用區域候選框的 Mask2Former 表現好得多
原木的平均長寬比為 8.3，最高可達 24，遠離一般使用的 2:1 或 1:2 錨框比例
mAP 隨訓練集規模依冪律成長，訓練集每加倍約提升 6.87%，因此在達到平台期之前，更多資料應該會有幫助
以先前訓練好的網路對影像進行預先標註，每張影像節省了約 40% 的標註時間
之所以需要遮罩而非有向框，是因為有向框的中心可能落在彎曲原木之外

主要結果

遮罩 mAP：Mask R-CNN 19.03、Rotated Mask R-CNN 31.83，Mask2Former 使用 Swin-B ImageNet-1k 骨幹時為 56.05，使用 ImageNet-22k 時為 57.53
上述四個模型的平均召回率依序為 28.60、36.95、64.06 與 65.16，F1 依序為 0.23、0.34、0.60 與 0.61
在 RTX 3090 上，推論速度為 Mask R-CNN 12.30 fps、Rotated Mask R-CNN 5.44 fps，兩個 Mask2Former 變體分別為 8.33 與 8.34 fps
在遮罩 IoU 0.5 時，Mask2Former 的精確率超過 80%，同時維持 80% 的召回率
把 Mask2Former 的輸入縮小到 256 × 256 時，速度提升到 24.05 fps；在 512 × 512 左右，速度變為三倍，精確率約下降 5%
每張影像的原木數量在圖 2 的圖說中為 1 到 30 根，在內文中為 1 到 29 根，平均 11.3 根

限制

此方法以單一影格為基礎，作者稱之為最壞情況；跨影片影格追蹤原木留待未來研究
IoU 為 0.5 即足以成功抓取的假設，尚未經過實驗驗證
沒有進行任何抓取：論文只在 220 張影像上評估感知
只標註與偵測原木堆最上層的原木

對領域的影響

入圍 IROS 2022 農業機器人最佳論文獎（YANMAR 贊助）決選，被引用 40 次。論文表示 TimberSeg 1.0 資料集將於論文發表時公開。

摘要

原木夾取是一項難以自動化的任務。事實上，原木通常以雜亂的形態出現，方向隨機且彼此重疊。近期關於原木夾取自動化的研究通常假設原木姿態已知，很少考慮實際的感知問題。在本文中，我們以資料驅動的方法正面處理後者。首先，我們提出一個名為 TimberSeg 1.0 的新資料集，它經過密集標註，也就是同時包含原木的邊界框與像素層級的遮罩標註。此資料集包含 220 張影像，共 2500 根個別分割的原木。接著，我們利用此資料集，在個別原木偵測與分割任務上比較三種神經網路架構：兩種以區域為基礎的方法與一種以注意力為基礎的方法。不出所料，我們的結果顯示，軸對齊的候選框因未能考慮原木的方向性而表現不佳，只有 19.03 mAP。一種能感知旋轉的候選框方法大幅改善結果，達到 31.83 mAP。更有意思的是，一種以 Transformer 為基礎的方法，在沒有任何關於旋轉之歸納偏差的情況下，勝過另外兩種方法，在我們的資料集上達到 57.53 的 mAP。我們的使用案例顯示以區域為基礎的方法在雜亂、細長物體上的局限。它也突顯以注意力為基礎的方法在這項特定任務上的潛力，因為它們直接在像素層級運作。這些令人振奮的結果顯示，這樣的感知系統短期內可用於協助操作員，未來則可完全自動化原木夾取作業。

連結

arXiv 2203.01902: https://arxiv.org/abs/2203.01902
DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
PDF: https://arxiv.org/pdf/2203.01902v1