Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Under Pressure: Learning-Based Analog Gauge Reading in the Wild

著者: Maurits Reitsma, Julian Keller, Kenneth Blomqvist, Roland Siegwart · ICRA 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

計器の種類も目盛りの範囲も不要な段階的な計器読み取り器。OCR が目盛りを読めた場合の相対誤差は約 1%、Howells らのデータでは平均 2.01% で、主な失敗箇所は OCR である。

重要な理由

プラントの計器の大半は今もアナログであるため、既存インフラを点検するロボットはさまざまな視点からそれを読み取る必要がある。各段階が分かれているので、ロボットはある計器でどのステップが失敗したかを判別でき、著者らはこのシステムを、7-DoF アームと手首に取り付けたカメラを備えた移動点検プラットフォームに搭載した。

課題

産業プラントの点検ロボットは、設計、単位、目盛りがさまざまで、反射したり汚れたりしたガラスの奥にあり、しばしば斜めから見えるアナログ計器を読まなければならない。これまでの学習ベースの読み取り器は、目盛り範囲についての事前知識を必要とするか、少なくとも 180 度にわたる円形の目盛りと遮るもののない計器を仮定している。

提案手法

パイプラインは YOLOv8 で計器を検出し、凍結した DINOv2 バックボーンと小さなデコーダで始点、終点、中間の目盛り線のヒートマップを予測し、少なくとも 5 本の目盛り線を通る楕円をフィッティングする。YOLOv8 で指針をセグメンテーションして直交距離回帰で直線を当てはめ、遠近と回転を補正し、DBNet と ABINet の OCR で目盛りの数字と単位を読み、RANSAC で角度から値への線形モデルをフィッティングし、指針の直線が楕円と交わる位置で値を読み取る。

主な知見

  • 読み取りを計器検出、目盛り線検出、楕円フィッティング、指針のセグメンテーション、OCR、補間に分けることで、各失敗を一つの段階までたどれる。
  • 計器の文字盤を円形と仮定するのではなく、目盛り線に楕円をフィッティングすることで、遠近によるゆがみや、文字盤と半径の異なる目盛りに対応できる。目盛り数字が楕円の内側か外側かで、内側と外側の目盛りを区別する。
  • OCR に必要なのは正しい目盛り数字 2 つだけで、シリアル番号のような誤読は RANSAC が除外する。
  • OCR が最も弱い段階である。テストした事前学習済みのテキスト検出器はどれもすべての計器タイプでは機能せず、ABINet は小数点やマイナス記号を読めない。
  • 回転補正は回転した計器には不可欠だが、始点と終点の目盛り線を誤判定すると、回転していない計器での目盛り数字の検出率をわずかに下げる。

主な結果

  • 要旨と結論は相対読み取り誤差が 2% 未満と述べている。表 I では OCR が成功した場合に 1.15%（正面視）と 0.77%（斜め視）だが、読み値を計算できたすべての例では 444% と 246% となる。誤読した目盛り数字が読み値をゆがめるためである。
  • Howells らのデータセット（5 種類の計器それぞれ 450 枚の画像、計器 d は非線形のため除外）では、平均相対誤差は 2.01% で、Howells らは 3.3% だった。2.01% は読み値が得られた 4 つの計器の平均である。計器 a は全フレームで OCR が失敗し、計器 e は 73.2% のフレームで失敗したためである。
  • 計器ごとの誤差は 0.96% 対 7.0%（b）、1.46% 対 0.9%（c）、3.1% 対 1.2%（e）、2.5% 対 2.3%（f）で、Howells らが必要とする目盛り範囲の事前情報なしに得られた。
  • 計器検出はどのテストセットでも失敗しなかった（IoU 0.80–0.81）。目盛り線検出は、正面視でアノテーションされた目盛り線の 94.6%、斜めかつ回転した視点で 77.5%、典型的でない計器で 30% を見つけた。
  • OCR は典型的なテストセット全体で画像の 40–57.5% で失敗し、最も多い失敗だった。楕円フィッティングは典型的な計器の 5–17%、典型的でない計器の 50% で失敗した。
  • 回転補正により、斜めかつ回転した計器での目盛り数字の検出率は 0% から 29% に上がった。遠近補正により、斜め視での検出率は 18% から 20% に上がった。

制限事項

  • OCR が最も誤りやすい段階である。事前学習済みの DBNet によるテキスト検出は計器の目盛り数字ではうまく機能せず、著者らは（Mask-RCNN と DRRG も試したが）すべての計器タイプで機能する事前学習済み検出器を見つけられなかった。
  • ABINet のテキスト認識は小数点やマイナス記号を検出できないため、自然数の目盛り数字しか読めない。
  • 線形の目盛り、少なくとも 5 本の見える主目盛り線、数字による目盛り、平らな文字盤、始点と終点の目盛り線の間の切れ目が下側にあることを前提としている。検出された目盛り線が 5 本未満だと楕円フィッティングが破綻する。
  • 指針のセグメンテーションは、指針の影や白に近い文字盤上の白い指針で失敗し（典型的でない計器での指針の IoU は 0）、目盛り線検出は訓練セットと似ていない計器で性能が落ちる。
  • 遠近補正は不十分な可能性があり、ロボットへの搭載は読み取り精度を報告せずに示されている。

分野への影響

IEEE ICRA 2024 Best Paper Award in Automation のファイナリストで、被引用数は 10。著者らは計器読み取りソフトウェアを GitHub でオープンソースとして公開している。

概要

我々は、実世界のロボットシステムに搭載可能な、アナログ計器を読み取るための解釈可能なフレームワークを提案する。このフレームワークは読み取りタスクを個別のステップに分割し、各ステップで起こりうる失敗を検出できるようにしている。我々のシステムは計器の種類や目盛りの範囲についての事前知識を必要とせず、使われている単位を抽出することができる。我々の計器読み取りアルゴリズムが、2% 未満の相対読み取り誤差で読み値を抽出できることを示す。

リンク

  • arXiv 2404.08785: https://arxiv.org/abs/2404.08785
  • DOI 10.1109/ICRA57147.2024.10610793: https://doi.org/10.1109/ICRA57147.2024.10610793
  • PDF: https://arxiv.org/pdf/2404.08785v1
  • コード: https://github.com/ethz-asl/analog_gauge_reader

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。