Under Pressure: Learning-Based Analog Gauge Reading in the Wild

Autori: Maurits Reitsma, Julian Keller, Kenneth Blomqvist, Roland Siegwart · ICRA 2024

Licenze

• Open access
• Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

Lettore di strumenti passo per passo che non richiede il tipo di strumento né l'intervallo della scala: errore relativo di circa l'1 % quando l'OCR legge la scala, 2,01 % medio sui dati di Howells et al.; l'OCR è il principale punto di errore.

Perché è importante

Gran parte degli strumenti negli impianti è ancora analogica, per cui i robot che ispezionano infrastrutture esistenti devono leggerli da punti di vista diversi. Poiché ogni fase è separata, un robot può capire quale passo è fallito su un dato strumento, e gli autori hanno impiegato il sistema su una piattaforma mobile di ispezione con un braccio a 7-DoF e una telecamera montata sul polso.

Problema

I robot di ispezione negli impianti industriali devono leggere strumenti analogici che variano per design, unità e scala, si trovano dietro vetri riflettenti o sporchi e sono spesso visti di sbieco. I precedenti lettori basati sull'apprendimento richiedono di conoscere in anticipo l'intervallo della scala, oppure presuppongono una scala circolare che copra almeno 180 gradi e uno strumento non ostruito.

Soluzione proposta

La pipeline rileva lo strumento con YOLOv8, prevede le heatmap delle tacche iniziale, finale e intermedie con un backbone DINOv2 congelato e un piccolo decoder, e adatta un'ellisse passante per almeno 5 tacche. Segmenta la lancetta con YOLOv8 e adatta una retta tramite regressione della distanza ortogonale, corregge prospettiva e rotazione, legge i numeri e le unità della scala con l'OCR DBNet e ABINet, adatta con RANSAC un modello lineare da angolo a valore e legge il valore nel punto in cui la retta della lancetta incontra l'ellisse.

Idee chiave

• Suddividere la lettura in rilevamento dello strumento, rilevamento delle tacche, adattamento dell'ellisse, segmentazione della lancetta, OCR e interpolazione rende ogni errore riconducibile a una sola fase.
• Adattare un'ellisse alle tacche della scala, invece di presupporre un quadrante circolare, gestisce la prospettiva e le scale con raggio diverso da quello del quadrante; il fatto che un marcatore si trovi dentro o fuori dall'ellisse separa le scale interne da quelle esterne.
• L'OCR richiede solo due marcatori di scala corretti, e RANSAC scarta le letture errate come i numeri di serie.
• L'OCR è la fase più debole: nessun rilevatore di testo pre-addestrato testato ha funzionato su tutti i tipi di strumento, e ABINet non sa leggere punti decimali né segni negativi.
• La correzione della rotazione è essenziale per gli strumenti ruotati, ma riduce leggermente il rilevamento dei marcatori di scala su quelli non ruotati quando le tacche iniziale e finale vengono valutate male.

Risultati principali

• L'abstract e la conclusione indicano un errore relativo di lettura inferiore al 2 %; la Tabella I riporta 1,15 % (viste frontali) e 0,77 % (viste angolate) quando l'OCR riesce, ma 444 % e 246 % su tutti gli esempi in cui è stato possibile calcolare una lettura, perché i marcatori di scala letti male falsano la lettura.
• Sul dataset di Howells et al. (450 immagini per ciascuno di cinque tipi di strumento, escluso lo strumento d perché non lineare), l'errore relativo medio è stato del 2,01 % contro il 3,3 % di Howells et al.; il 2,01 % è la media dei quattro strumenti con letture, poiché l'OCR è fallito su ogni frame dello strumento a e lo strumento e è fallito nel 73,2 % dei frame.
• Per strumento, gli errori sono stati 0,96 % contro 7,0 % (b), 1,46 % contro 0,9 % (c), 3,1 % contro 1,2 % (e) e 2,5 % contro 2,3 % (f), senza la conoscenza a priori dell'intervallo della scala richiesta da Howells et al.
• Il rilevamento dello strumento non è mai fallito su alcun set di test (IoU 0,80–0,81); il rilevamento delle tacche ha trovato il 94,6 % delle tacche annotate nelle viste frontali, il 77,5 % nelle viste angolate e ruotate e il 30 % negli strumenti atipici.
• L'OCR è fallito sul 40–57,5 % delle immagini nei set di test tipici, l'errore più comune; l'adattamento dell'ellisse è fallito sul 5–17 % degli strumenti tipici e sul 50 % di quelli atipici.
• La correzione della rotazione ha portato il rilevamento dei marcatori di scala sugli strumenti angolati e ruotati dallo 0 % al 29 %; la correzione della prospettiva lo ha portato nelle viste angolate dal 18 % al 20 %.

Limiti

• L'OCR è la fase più soggetta a errori: il rilevamento del testo pre-addestrato DBNet funziona male sui marcatori di scala degli strumenti, e gli autori non hanno trovato alcun rilevatore pre-addestrato (provando anche Mask-RCNN e DRRG) che funzionasse su tutti i tipi di strumento.
• Il riconoscimento del testo di ABINet non rileva punti decimali né segni negativi, per cui vengono letti solo marcatori di scala che sono numeri naturali.
• Presuppone una scala lineare con almeno 5 tacche principali visibili, marcatori di scala numerici, un quadrante piatto e lo spazio tra la tacca iniziale e quella finale in basso; meno di 5 tacche rilevate fanno fallire l'adattamento dell'ellisse.
• La segmentazione della lancetta è fallita con le ombre della lancetta e con lancette bianche su quadranti quasi bianchi (IoU della lancetta pari a 0 sugli strumenti atipici), e il rilevamento delle tacche peggiora su strumenti diversi da quelli del set di addestramento.
• La correzione della prospettiva può essere insufficiente, e l'impiego sul robot è mostrato senza un'accuratezza di lettura riportata.

Impatto sul settore

Finalista dell'IEEE ICRA 2024 Best Paper Award in Automation, con 10 citazioni. Gli autori rilasciano il loro software di lettura degli strumenti come open source su GitHub.

Abstract

Proponiamo un framework interpretabile per la lettura di strumenti analogici che può essere impiegato su sistemi robotici reali. Il nostro framework suddivide il compito di lettura in passi distinti, così da poter rilevare possibili errori in ciascun passo. Il nostro sistema non richiede conoscenze a priori sul tipo di strumento o sull'intervallo della scala ed è in grado di estrarre le unità utilizzate. Mostriamo che il nostro algoritmo di lettura degli strumenti è in grado di estrarre letture con un errore relativo di lettura inferiore al 2 %.

Link

• arXiv 2404.08785: https://arxiv.org/abs/2404.08785
• DOI 10.1109/ICRA57147.2024.10610793: https://doi.org/10.1109/ICRA57147.2024.10610793
• PDF: https://arxiv.org/pdf/2404.08785v1
• Codice: https://github.com/ethz-asl/analog_gauge_reader