Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning

著者: Kun Huang, Edward S. Hu, Dinesh Jayaraman · CoRL 2022

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

LIRF は、結果に対して働きかける（ドアを引く、塔をつつく、バルブをひねる）2 つ目の方策を学習して成功と失敗を見分け、その判定をタスク方策の報酬として用いる。

重要な理由

タスクの指定に必要なのは依然として成功例だけであり、デモンストレーション、設計された報酬、追加のセンサは不要でありながら、成功が目に見えない場合にも機能する。学習した確認は実運用時にも再利用でき、不完全な実行を検出してタスク方策にやり直させることができる。

課題

例示による報酬の手法は、成功した結果の画像でタスクを指定するが、多くの結果は受動的な画像からは判断できない。緩いボトルのキャップは締まったものと同じに見え、ドアのラッチはドアの裏に隠れていることがある。この状態のエイリアシングにより、画像ベースの成功分類器は部分観測のタスクで機能しない。

提案手法

ロボットには物理的な「行動可能な」成功例が与えられ、インタラクティブ報酬関数（IRF）の方策が SAC で学習される。この方策は、それらの例と、VICE で学習した初期のタスク方策が生み出す失敗の結果に対して働きかけ、その後に単一観測の分類器が両者を見分けられるようにする。IRF の判定は最終的なタスク方策を学習するための終端報酬となり、同じ IRF を実行後に「実行-検証」ループで動かして、タスクが完了したと判断するまで繰り返すこともできる。

主な知見

  • 相互作用によって、隠れたタスクの成否を明らかにできる。学習した IRF は、ドアを引く、塔の一番下のブロックをつつく、バルブに小さな反時計回りのトルクをかける、といった動作をする。
  • 単一の観測に基づく分類器は状態のエイリアシングの影響を受ける。これが、部分観測であるこれらのタスクで VICE や GAIfO の性能が低い理由である。
  • 相互作用の後の 1 つの観測に分類器を適用するだけで結果をラベル付けでき、IRF の軌道全体に対する分類器は必要ない。
  • IRF は特権情報を用いないため、学習後はループ内の検証器として機能できる。
  • 学習した IRF は、手作業でコーディングした相互作用による確認（Manual IRF）と同等以上であった。

主な結果

  • LIRF / LIRF+Verify のタスク成功率（表 1）：ドアの施錠 0.640 / 0.958、ブロックの積み重ね 0.846 / 0.884、実機でのねじ締め 0.82 / 0.99。
  • 同じ 3 つのタスクで VICE は 0.032、0.310、0.02、GAIfO は 0.112、0.275、0.0 であった。
  • 真の状態に基づく報酬では 0.714（ドア）、0.956（ブロック）、0.87（ねじ締め）となった。LIRF+Verify はドアの施錠とねじ締めではこれを上回ったが、ブロックの積み重ねでは上回らなかった。ただし本文では LIRF+Verify がすべてのベースラインを上回るとされている。
  • IRF の成功分類の精度：ドアの施錠 0.992 ± 0.006、ブロックの積み重ね 0.852 ± 0.023、ねじ締め 0.98（表 2）。
  • 必要な行動可能な正例の数：ねじ締めは 1 個、ドアの施錠は 110 個、ブロックの積み重ねは 7k 個。
  • 学習には、ドアの施錠と積み重ねの LIRF 方策で約 2M シミュレーションステップ、ねじ締めで 50k ステップ（実機で約 10 時間）、各 IRF 方策で約 20k ステップを要した。

制限事項

  • LIRF が最も役立つのは、単一画像による報酬で学習したタスク方策がほとんどの場合に失敗するときであり、完全観測の設定では IRF の利点はわずかか、まったくない（著者らの記述）。
  • 正例は物理的に保管してロボットに提示しなければならない。ねじ締め（1 例）では容易だが、ブロックの積み重ね（7k 例）では面倒である（著者らの記述）。
  • 2 つのシミュレーションタスクでは、観測はカメラ画像ではなく「完全な視覚を模した」もの（物体とロボットの姿勢）である。
  • 実機での試験は 1 つのバルブ回しのタスクのみで、ねじの締まりはバルブの下のモータで模擬している。

分野への影響

CoRL 2022 Best Paper Award を受賞し、被引用数は 6 である。論文はすべてのコードと環境を公開予定としており、公式のプロジェクトページには公開コードリポジトリへのリンクがある。

概要

物理的な相互作用は、すぐには分からない情報を明らかにするのに役立つことが多い。たとえば、テーブルの脚がしっかり作られているかを評価するために引っ張ってみたり、水筒が水漏れしないかを確かめるために逆さにしたりする。我々は、ロボットのスキル実行の試みの結果を評価する目的で、このような相互作用的な行動をロボットに自動的に獲得させることを提案する。これらの評価は、テーブルの脚をしっかりねじ込むといった目標スキルを実行する強化学習の方策を学習するための「インタラクティブ報酬関数」（interactive reward functions、IRFs）として機能する。さらに、タスク方策が完全に学習された後でも、IRF はオンラインでのタスク実行を改善する検証の仕組みとして機能しうる。任意のタスクについて、IRF は成功した結果の例だけを用いて手軽に学習でき、その後タスク方策を学習するためにそれ以上の仕様は必要ない。シミュレーションでのドアの施錠と重りつきブロックの積み重ね、および実機でのねじ締めの評価において、IRF は大幅な性能向上をもたらし、デモンストレーションや入念に設計された報酬を利用できるベースラインをも上回った。プロジェクトのウェブサイト：https://sites.google.com/view/lirf-corl-2022/

リンク

  • arXiv 2212.08961: https://arxiv.org/abs/2212.08961
  • DOI 10.48550/arXiv.2212.08961: https://doi.org/10.48550/arXiv.2212.08961
  • PDF: https://proceedings.mlr.press/v205/huang23a/huang23a.pdf
  • コード: https://github.com/penn-pal-lab/lirf_public
  • プロジェクトページ: https://sites.google.com/view/lirf-corl-2022/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。