Under Pressure: Learning-Based Analog Gauge Reading in the Wild

Autoren: Maurits Reitsma, Julian Keller, Kenneth Blomqvist, Roland Siegwart · ICRA 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Schrittweiser Ableser für Messinstrumente, der weder Instrumententyp noch Skalenbereich braucht: etwa 1 % relativer Fehler, wenn die OCR die Skala liest, im Mittel 2,01 % auf den Daten von Howells et al.; die OCR ist die Hauptfehlerquelle.

Warum es wichtig ist

Die meisten Messinstrumente in Anlagen sind noch analog, daher müssen Roboter, die Bestandsinfrastruktur inspizieren, sie aus wechselnden Blickwinkeln ablesen. Da jede Stufe getrennt ist, kann ein Roboter erkennen, welcher Schritt bei einem bestimmten Instrument versagt hat, und die Autoren setzten das System auf einer mobilen Inspektionsplattform mit einem Arm mit 7-DoF und einer am Handgelenk montierten Kamera ein.

Problem

Inspektionsroboter in Industrieanlagen müssen analoge Messinstrumente ablesen, die sich in Bauart, Einheiten und Skala unterscheiden, hinter spiegelndem oder verschmutztem Glas sitzen und oft schräg gesehen werden. Frühere lernbasierte Ableser benötigen Vorwissen über den Skalenbereich oder nehmen eine kreisförmige Skala über mindestens 180 Grad und ein unverdecktes Instrument an.

Lösungsansatz

Die Pipeline erkennt das Instrument mit YOLOv8, sagt mit einem eingefrorenen DINOv2-Backbone und einem kleinen Decoder Heatmaps für Anfangs-, End- und Zwischenteilstriche voraus und passt eine Ellipse durch mindestens 5 Teilstriche an. Sie segmentiert den Zeiger mit YOLOv8 und passt per orthogonaler Distanzregression eine Gerade an, korrigiert Perspektive und Rotation, liest Skalenzahlen und Einheiten mit DBNet- und ABINet-OCR, passt mit RANSAC ein lineares Modell von Winkel zu Wert an und liest den Wert dort ab, wo die Zeigergerade die Ellipse schneidet.

Wichtigste Erkenntnisse

Das Ablesen in Instrumentenerkennung, Teilstricherkennung, Ellipsenanpassung, Zeigersegmentierung, OCR und Interpolation aufzuteilen, macht jeden Fehler auf eine Stufe zurückführbar.
Eine Ellipse an die Teilstriche der Skala anzupassen, statt ein kreisförmiges Zifferblatt anzunehmen, bewältigt Perspektive und Skalen, deren Radius vom Zifferblatt abweicht; ob eine Skalenbeschriftung innerhalb oder außerhalb der Ellipse liegt, trennt innere und äußere Skalen.
Die OCR braucht nur zwei korrekte Skalenbeschriftungen, und RANSAC verwirft Fehllesungen wie Seriennummern.
Die OCR ist die schwächste Stufe: Kein getesteter vortrainierter Textdetektor funktionierte über alle Instrumententypen hinweg, und ABINet kann keine Dezimalpunkte oder Minuszeichen lesen.
Die Rotationskorrektur ist für gedrehte Instrumente unerlässlich, senkt aber die Erkennung von Skalenbeschriftungen bei ungedrehten leicht, wenn Anfangs- und End-Teilstrich falsch eingeschätzt werden.

Hauptergebnisse

Zusammenfassung und Fazit nennen einen relativen Ablesefehler unter 2 %; Table I gibt 1,15 % (Frontansichten) und 0,77 % (Schrägansichten) an, wenn die OCR gelingt, aber 444 % und 246 % über alle Beispiele, für die ein Messwert berechnet werden konnte, weil falsch gelesene Skalenbeschriftungen den Messwert verzerren.
Auf dem Datensatz von Howells et al. (je 450 Bilder von fünf Instrumententypen, meter d als nichtlinear ausgeschlossen) betrug der mittlere relative Fehler 2,01 % gegenüber 3,3 % bei Howells et al.; die 2,01 % mitteln die vier Instrumente mit Messwerten, da die OCR bei jedem Frame von meter a versagte und meter e bei 73,2 % der Frames versagte.
Je Instrument betrugen die Fehler 0,96 % gegenüber 7,0 % (b), 1,46 % gegenüber 0,9 % (c), 3,1 % gegenüber 1,2 % (e) und 2,5 % gegenüber 2,3 % (f), ohne das Vorwissen über den Skalenbereich, das Howells et al. benötigen.
Die Instrumentenerkennung versagte in keinem Testset (IoU 0,80–0,81); die Teilstricherkennung fand 94,6 % der annotierten Teilstriche bei Frontansichten, 77,5 % bei schrägen und gedrehten Ansichten und 30 % bei untypischen Instrumenten.
Die OCR versagte über die typischen Testsets hinweg bei 40–57,5 % der Bilder, der häufigste Fehler; die Ellipsenanpassung versagte bei 5–17 % der typischen und 50 % der untypischen Instrumente.
Die Rotationskorrektur steigerte die Erkennung von Skalenbeschriftungen bei schrägen und gedrehten Instrumenten von 0 % auf 29 %; die Perspektivkorrektur steigerte sie bei Schrägansichten von 18 % auf 20 %.

Einschränkungen

Die OCR ist die fehleranfälligste Stufe: Die vortrainierte DBNet-Texterkennung schneidet bei Skalenbeschriftungen von Messinstrumenten schlecht ab, und die Autoren fanden keinen vortrainierten Detektor (sie versuchten auch Mask-RCNN und DRRG), der über alle Instrumententypen hinweg funktionierte.
Die ABINet-Texterkennung kann keine Dezimalpunkte oder Minuszeichen erkennen, sodass nur Skalenbeschriftungen mit natürlichen Zahlen gelesen werden.
Setzt eine lineare Skala mit mindestens 5 sichtbaren Hauptteilstrichen, numerische Skalenbeschriftungen, ein flaches Zifferblatt und die Lücke zwischen Anfangs- und End-Teilstrich unten voraus; weniger als 5 erkannte Teilstriche lassen die Ellipsenanpassung scheitern.
Die Zeigersegmentierung versagte bei Zeigerschatten und bei weißen Zeigern auf fast weißen Zifferblättern (Zeiger-IoU 0 bei untypischen Instrumenten), und die Teilstricherkennung verschlechtert sich bei Instrumenten, die dem Trainingsset unähnlich sind.
Die Perspektivkorrektur ist möglicherweise unzureichend, und der Robotereinsatz wird ohne berichtete Ablesegenauigkeit gezeigt.

Wirkung auf das Fachgebiet

Finalist für den IEEE ICRA 2024 Best Paper Award in Automation, mit 10 Zitierungen. Die Autoren veröffentlichen ihre Ablesesoftware als Open Source auf GitHub.

Zusammenfassung

Wir schlagen ein interpretierbares Framework zum Ablesen analoger Messinstrumente vor, das auf realen Robotersystemen einsetzbar ist. Unser Framework zerlegt die Ableseaufgabe in getrennte Schritte, sodass wir mögliche Fehler in jedem Schritt erkennen können. Unser System benötigt kein Vorwissen über den Typ des Messinstruments oder den Skalenbereich und kann die verwendeten Einheiten extrahieren. Wir zeigen, dass unser Ablesealgorithmus Messwerte mit einem relativen Ablesefehler von weniger als 2 % extrahieren kann.

Open Source Robotics