Instance Segmentation for Autonomous Log Grasping in Forestry Operations

저자: Jean-Michel Fortin, Olivier Gamache, Vincent Grondin, François Pomerleau, Philippe Giguère · IROS 2022

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

마스크가 달린 새로운 원목 통나무 데이터셋은 픽셀 수준 트랜스포머가 상자 제안 네트워크보다 어수선하고 휘어진 통나무를 훨씬 잘 분할한다는 것을 보여주며, 이는 자율 포워더를 향한 첫 인식 단계이다.

중요한 이유

크레인은 위치를 파악하지 못한 통나무를 잡을 수 없으며, 통나무별 마스크는 휘어진 통나무에 대해서도 쓸 수 있는 파지점을 제공한다. 결과는 어떤 검출기 계열이 어수선하고 길쭉한 물체에 적합한지를 보여주며, 이는 다른 현장 및 농업 집기 작업에도 적용된다.

문제

포워더 크레인으로 통나무 집기를 자동화하려던 이전 연구는 통나무 자세를 안다고 가정했고 인식에는 거의 주의를 기울이지 않았다. 통나무는 길쭉하고, 무작위 방향이며, 겹쳐 있고, 흔히 휘어 있어서 축 정렬 상자에는 이웃한 통나무가 들어가고 상자 중심이 휜 통나무 밖에 놓일 수 있다. 분할된 통나무의 공개 데이터셋은 존재하지 않았다.

제안 방법

저자들은 퀘벡 생장호(Lake Saint-Jean) 인근에서 작업 중인 포워더의 대시캠 이미지에 더해 목재 야적장에서 찍은 카메라 사진과 공개 영상의 프레임을 수집하고, 맨 위의 통나무에 다각형 마스크로 주석을 달았다. 이들은 5겹 교차 검증으로 Mask R-CNN, 방향 앵커를 쓰는 Rotated Mask R-CNN, Mask2Former를 비교했고, 데이터 크기와 입력 해상도가 Mask2Former에 미치는 영향을 연구했다.

핵심 통찰

축 정렬 영역 제안은 이웃한 통나무까지 감싸 마스크 품질을 떨어뜨린다. 방향을 가진 앵커가 도움이 되지만, 영역 제안이 없는 Mask2Former가 훨씬 좋다
통나무의 평균 종횡비는 8.3이고 최대 24로, 보통 쓰이는 2:1이나 1:2 앵커 비율과 거리가 멀다
mAP는 학습 세트 크기에 따라 거듭제곱 법칙을 따르며 두 배가 될 때마다 약 6.87% 증가하므로, 정체에 이를 때까지는 데이터가 많을수록 도움이 될 것이다
이전에 학습한 네트워크로 이미지에 사전 주석을 달아 이미지당 레이블링 시간을 약 40% 절약했다
방향 상자의 중심이 휘어진 통나무 밖에 놓일 수 있으므로, 방향 상자가 아니라 마스크가 필요하다

주요 결과

마스크 mAP: Mask R-CNN 19.03, Rotated Mask R-CNN 31.83, Mask2Former는 Swin-B ImageNet-1k 백본으로 56.05, ImageNet-22k로 57.53
같은 네 모델의 평균 재현율은 28.60, 36.95, 64.06, 65.16이고, F1은 0.23, 0.34, 0.60, 0.61이다
RTX 3090에서 추론 속도는 Mask R-CNN 12.30 fps, Rotated Mask R-CNN 5.44 fps, 두 Mask2Former 변형은 8.33과 8.34 fps이다
마스크 IoU 0.5에서 Mask2Former는 재현율 80%를 유지하면서 80%가 넘는 정밀도에 도달한다
Mask2Former 입력을 256 × 256으로 줄이면 속도가 24.05 fps로 오른다. 512 × 512 부근에서는 정밀도가 약 5% 떨어지는 대신 속도가 세 배가 된다
이미지당 통나무 수는 Fig. 2 캡션에서는 1에서 30, 본문에서는 1에서 29로 제시되며, 평균은 11.3이다

한계

접근법은 단일 프레임 방식이며 저자들은 이를 최악의 시나리오라고 부른다. 영상 프레임 간 통나무 추적은 향후 과제로 남겨 두었다
IoU 0.5면 파지에 성공하기에 충분하다는 가정은 아직 실험으로 검증되지 않았다
파지는 수행되지 않았다. 논문은 이미지 220장에 대해 인식만 평가한다
더미 맨 위에 있는 통나무만 주석이 달리고 검출된다

분야에 미친 영향

IROS 2022 Best Paper Award on Agri-Robotics (sponsored by YANMAR)의 최종 후보에 올랐으며 인용 수는 40회이다. 논문은 TimberSeg 1.0 데이터셋이 출판 시 공개될 것이라고 밝힌다.

초록

원목 통나무 집기는 자동화하기 어려운 작업이다. 실제로 통나무는 보통 어수선한 배치로, 무작위 방향으로 놓이고 서로 겹쳐 있다. 통나무 집기 자동화에 관한 최근 연구는 대개 통나무의 자세를 안다고 가정하며, 실제 인식 문제는 거의 고려하지 않는다. 본 논문에서는 데이터 기반 접근법을 사용하여 이 인식 문제를 정면으로 다룬다. 먼저 TimberSeg 1.0이라는 새로운 데이터셋을 소개한다. 이 데이터셋은 조밀하게 주석이 달려 있으며, 즉 통나무에 대한 경계 상자와 픽셀 수준 마스크 주석을 모두 포함한다. 이 데이터셋은 개별적으로 분할된 통나무 2500개가 담긴 이미지 220장으로 구성된다. 이어서 우리 데이터셋을 사용하여 개별 통나무 검출 및 분할 작업에서 세 가지 신경망 아키텍처, 즉 영역 기반 방법 두 가지와 어텐션 기반 방법 한 가지를 비교한다. 예상대로, 통나무의 방향성을 고려하지 못하는 축 정렬 제안은 19.03 mAP로 성능이 낮았다. 회전을 고려한 제안 방법은 결과를 31.83 mAP로 크게 개선한다. 더 흥미롭게도, 회전에 대한 귀납적 편향이 전혀 없는 트랜스포머 기반 접근법이 다른 두 방법을 능가하여 우리 데이터셋에서 57.53의 mAP를 달성했다. 우리의 사용 사례는 어수선하고 길쭉한 물체에 대한 영역 기반 접근법의 한계를 보여준다. 또한 어텐션 기반 방법은 픽셀 수준에서 직접 작동하므로 이 특정 작업에서의 잠재력을 부각한다. 이러한 고무적인 결과는 그러한 인식 시스템이 단기적으로는 작업자를 보조하는 데, 장래에는 통나무 집기 작업을 완전히 자동화하는 데 사용될 수 있음을 시사한다.

링크

arXiv 2203.01902: https://arxiv.org/abs/2203.01902
DOI 10.1109/IROS47612.2022.9982286: https://doi.org/10.1109/IROS47612.2022.9982286
PDF: https://arxiv.org/pdf/2203.01902v1