Under Pressure: Learning-Based Analog Gauge Reading in the Wild

저자: Maurits Reitsma, Julian Keller, Kenneth Blomqvist, Roland Siegwart · ICRA 2024

라이선스

• 오픈 액세스
• 논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

게이지 유형이나 눈금 범위가 필요 없는 단계별 게이지 판독기다. OCR이 눈금을 읽으면 상대 오차가 약 1%이고, Howells et al.의 데이터에서 평균 2.01%이며, OCR이 주된 실패 지점이다.

중요한 이유

플랜트의 게이지 대부분은 여전히 아날로그이므로, 기존 기반 시설을 점검하는 로봇은 다양한 시점에서 이를 읽어야 한다. 각 단계가 분리되어 있어 로봇은 특정 게이지에서 어느 단계가 실패했는지 알 수 있으며, 저자들은 7-DoF 팔과 손목 장착 카메라를 갖춘 모바일 점검 플랫폼에 시스템을 배치했다.

문제

산업 플랜트의 점검 로봇은 디자인, 단위, 눈금이 다양하고, 반사되거나 더러운 유리 뒤에 있으며, 종종 비스듬히 보이는 아날로그 게이지를 읽어야 한다. 기존의 학습 기반 판독기는 눈금 범위에 대한 사전 지식이 필요하거나, 최소 180도에 걸친 원형 눈금과 가려지지 않은 게이지를 가정한다.

제안 방법

파이프라인은 YOLOv8로 게이지를 검출하고, 고정된 DINOv2 백본과 작은 디코더로 시작, 끝, 중간 눈금의 히트맵을 예측하며, 최소 5개의 눈금을 지나는 타원을 피팅한다. YOLOv8로 바늘을 분할하고 직교 거리 회귀로 직선을 피팅하며, 원근과 회전을 보정하고, DBNet과 ABINet OCR로 눈금 숫자와 단위를 읽고, RANSAC으로 각도-값 선형 모델을 피팅한 다음, 바늘 직선이 타원과 만나는 지점의 값을 읽는다.

핵심 통찰

• 판독을 게이지 검출, 눈금 검출, 타원 피팅, 바늘 분할, OCR, 보간으로 나누면 각 실패를 한 단계로 추적할 수 있다.
• 원형 게이지 면을 가정하는 대신 눈금에 타원을 피팅하면 원근과 면과 반지름이 다른 눈금을 처리할 수 있다. 표시 숫자가 타원 안쪽에 있는지 바깥쪽에 있는지로 안쪽 눈금과 바깥쪽 눈금을 구분한다.
• OCR은 올바른 눈금 숫자 두 개만 있으면 되며, RANSAC이 일련번호 같은 오판독을 버린다.
• OCR이 가장 약한 단계다. 시험한 사전 학습 텍스트 검출기 중 어느 것도 모든 게이지 유형에서 작동하지 않았으며, ABINet은 소수점이나 음수 부호를 읽지 못한다.
• 회전 보정은 회전된 게이지에 필수적이지만, 시작 및 끝 눈금을 잘못 판단하면 회전되지 않은 게이지에서 눈금 숫자 검출을 약간 낮춘다.

주요 결과

• 초록과 결론은 2% 미만의 상대 판독 오차를 밝힌다. Table I는 OCR이 성공했을 때 1.15%(정면 시점)와 0.77%(비스듬한 시점)를 제시하지만, 판독값을 계산할 수 있었던 모든 예시 전체로는 444%와 246%인데, 이는 잘못 읽은 눈금 숫자가 판독을 왜곡하기 때문이다.
• Howells et al. 데이터셋(다섯 가지 게이지 유형별 450장 이미지, 비선형인 meter d 제외)에서 평균 상대 오차는 2.01%로 Howells et al.의 3.3%와 비교된다. 2.01%는 판독값이 있는 네 미터의 평균인데, meter a는 모든 프레임에서 OCR이 실패했고 meter e는 프레임의 73.2%에서 실패했기 때문이다.
• 미터별 오차는 0.96% 대 7.0%(b), 1.46% 대 0.9%(c), 3.1% 대 1.2%(e), 2.5% 대 2.3%(f)였으며, Howells et al.이 요구하는 눈금 범위 사전 정보 없이 얻은 결과다.
• 게이지 검출은 어떤 테스트 세트에서도 실패하지 않았다(IoU 0.80–0.81). 눈금 검출은 주석된 눈금 중 정면 시점에서 94.6%, 비스듬하고 회전된 시점에서 77.5%, 비전형적 게이지에서 30%를 찾았다.
• OCR은 전형적인 테스트 세트들에서 이미지의 40–57.5%에서 실패했으며, 이것이 가장 흔한 실패였다. 타원 피팅은 전형적 게이지의 5–17%, 비전형적 게이지의 50%에서 실패했다.
• 회전 보정은 비스듬하고 회전된 게이지에서 눈금 숫자 검출을 0%에서 29%로 높였고, 원근 보정은 비스듬한 시점에서 이를 18%에서 20%로 높였다.

한계

• OCR이 가장 오류가 많은 단계다. 사전 학습된 DBNet 텍스트 검출은 게이지 눈금 숫자에서 성능이 낮으며, 저자들은 모든 게이지 유형에서 작동하는 사전 학습 검출기를 찾지 못했다(Mask-RCNN과 DRRG도 시도했다).
• ABINet 텍스트 인식은 소수점이나 음수 부호를 검출할 수 없으므로 자연수 눈금 숫자만 읽힌다.
• 최소 5개의 보이는 주 눈금이 있는 선형 눈금, 숫자로 된 눈금 표시, 평평한 면, 그리고 시작 눈금과 끝 눈금 사이의 간격이 아래쪽에 있다고 가정한다. 검출된 눈금이 5개 미만이면 타원 피팅이 실패한다.
• 바늘 분할은 바늘 그림자와 거의 흰색인 면 위의 흰색 바늘에서 실패했고(비전형적 게이지에서 바늘 IoU 0), 눈금 검출은 학습 세트와 다른 게이지에서 성능이 떨어진다.
• 원근 보정이 충분하지 않을 수 있으며, 로봇 배치는 판독 정확도 보고 없이 제시된다.

분야에 미친 영향

IEEE ICRA 2024 Best Paper Award in Automation 최종 후보에 올랐으며 인용 수는 10회다. 저자들은 게이지 판독 소프트웨어를 GitHub에 오픈 소스로 공개한다.

초록

우리는 실제 로봇 시스템에 배치할 수 있는, 아날로그 게이지 판독을 위한 해석 가능한 프레임워크를 제안한다. 우리 프레임워크는 판독 작업을 서로 구분되는 단계로 나누어 각 단계에서 잠재적 실패를 감지할 수 있게 한다. 우리 시스템은 게이지 유형이나 눈금 범위에 대한 사전 지식이 필요 없으며, 사용된 단위를 추출할 수 있다. 우리는 게이지 판독 알고리즘이 2% 미만의 상대 판독 오차로 판독값을 추출할 수 있음을 보인다.

링크

• arXiv 2404.08785: https://arxiv.org/abs/2404.08785
• DOI 10.1109/ICRA57147.2024.10610793: https://doi.org/10.1109/ICRA57147.2024.10610793
• PDF: https://arxiv.org/pdf/2404.08785v1
• 코드: https://github.com/ethz-asl/analog_gauge_reader