Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Universal Visual Decomposer: Long-Horizon Manipulation Made Easy

著者: Zichen Zhang, Yunshuang Li, Osbert Bastani, Abhishek Gupta, Dinesh Jayaraman, Yecheng Jason Ma, Luca Weihs · ICRA 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

UVD はデモ動画の中で事前学習済みの視覚埋め込み距離が減少しなくなる点をサブゴールとして見つけ、それをゴール条件付き模倣学習と報酬シェーピングに用いる。

重要な理由

UVD に必要なのは動画のデモと既製のエンコーダだけで、分解のステップは標準的なポリシー訓練に加えて軌道あたり 0.1 秒未満しか追加しない。こうして見つけたサブゴールにより、いくつかのタスク順序で訓練したポリシーが同じサブタスクの未知の順序を実行できるようになり、タスク系列ごとにデモを集める必要が減る。

課題

長期的な操作には誤差の累積、大きな観測空間と行動空間、弱い学習信号という問題があるため、タスクは通常サブタスクに分割される。既存の分解手法は、固有受容感覚や既知のサブタスク構造といったタスク固有の知識を必要とするか、大規模データセットで訓練した計算負荷の高い生成モデルを必要とするため、単なる動画デモにそのまま適用することはできない。

提案手法

UVD は凍結した事前学習済み視覚エンコーダ（VIP、R3M、LIV など）を用い、最終フレームから逆向きに処理する。一つのサブタスク内では現在のゴールまでの埋め込み距離が単調に減少するはずなので、その単調性が崩れる最も遅いフレームを一つ前のサブゴールとし、この手順を動画の先頭まで繰り返す。発見したサブゴールは、ゴール条件付き行動クローニングのためにデモのラベルを付け直すのに使い、また現在のサブゴールまでの埋め込み距離のステップごとの減少量として RL の報酬を定義する。テスト時のゴールは、最近傍探索（単一タスク）か、与えられたサブゴール系列の受け渡しから得る。

主な知見

  • タスクの進捗を符号化するよう短い動画で訓練された表現（VIP、R3M、LIV）は、一つのサブタスク内ではほぼ単調な埋め込み距離を与える。複数のサブタスクにまたがると、距離曲線は段階の切り替わりで平坦になり、ラベルなしでサブタスクの境界を示す。
  • 滑らかな時間的進捗のために明示的に訓練された VIP と LIV が UVD から最も大きな恩恵を受けた。これは、時間的に訓練された表現の方が CLIP や DINOv2 のような静止画像モデルよりサブゴール発見に適しているという主張を支持する。
  • ヒューリスティックなサブゴール選択（固定ウィンドウ先のフレーム、または 3 から 5 個のランダムなフレーム）はドメイン内では同程度の性能だったが、冗長で意味の乏しいサブゴールを与えるため、ドメイン外の汎化を損なった。
  • 遠く離れた最終フレームに対して定義した報酬は、4 段階のタスクで RL の探索を導けなかったが、サブゴールごとの報酬は導けた。
  • 埋め込みにはノイズがあるため、実際にはサブゴール間の最小時間間隔と、距離曲線の平滑化（Nadaraya-Watson カーネル回帰）が必要である。

主な結果

  • VIP と GCBC による FrankaKitchen の模倣学習：ドメイン外の成功率は 0.035 から 0.188 に、ドメイン外の完了度は 0.236 から 0.566 に上昇し、ドメイン内の成功率は変わらなかった（0.736 対 0.737）。
  • テストしたすべての表現でドメイン外の成功率が向上した：R3M 0.014 から 0.084、LIV 0.008 から 0.066、CLIP 0.005 から 0.073、DINOv2 0.012 から 0.055、VIP 上の GPT 型トランスフォーマーポリシーで 0.039 から 0.213。
  • PPO による FrankaKitchen の RL：最終フレームをゴールとするゴール条件付き RL の成功率は 0.0。UVD の報酬では、3 シードの平均/最大成功率は VIP で 0.65/1.0、R3M で 0.649/1.0 だった。
  • 実機 Franka での 20 回の試行におけるドメイン外成功率（GCBC 対 GCBC + UVD）：Apple-in-Oven 0.0 対 0.25、Fries-and-Rack 0.0 対 0.25、Fold-Cloth 0.0 対 0.15。
  • 実行中に人の妨害がある場合（10 回の試行）、成功率は Apple-in-Oven で 0.0 から 0.5 に、Fries-and-Rack で 0.2 から 0.9 に上がった。
  • RTX A6000 上の分解時間：平均 227 フレームの FrankaKitchen エピソードで 0.0023 秒、698 フレームの 720p 動画で 0.011 秒。これはエンコード（0.155 秒と 0.450 秒）の後の時間である。

制限事項

  • 検証は完全に観測可能な操作タスクのみで、著者らは、ナビゲーションやその他の部分観測の身体性タスクでは直感的または説明可能なサブゴールが得られない可能性があると述べている。
  • 実世界のドメイン外テストは訓練タスクより短い。実際のサブタスクは順序に依存するため、人がすでに完了した手順を飛ばすことをテストしている。
  • サブゴール検出は、あらかじめ設定したサブゴール間の最小間隔と平滑化の手順に依存し、推論時のゴールの受け渡しは距離のしきい値に依存する。
  • 実機評価は 3 つのタスクを対象とし、各タスクは約 100 件のテレオペレーションによるデモと、設定ごとに 20 回の試行からなる。
  • 効果は表現に依存する。CLIP と DINOv2 では、ドメイン内の成功率は 0.32 から 0.39 にとどまった。

分野への影響

IEEE ICRA 2024 Best Paper Award in Robot Vision のファイナリストで、被引用数は 44。論文はプロジェクトページへリンクし、付録で分解処理の Python 擬似コードを示しているが、コードリポジトリへのリンクは示していない。

概要

実世界のロボットタスクは長い時間にわたり、複数の段階を含む。しかし長期的な操作タスクの学習は長年の課題であり、ポリシー学習と未知タスクへの汎化を促すために、全体のタスクをいくつかの扱いやすいサブタスクに分解する必要がある。従来のタスク分解手法はタスク固有の知識を必要とし、計算コストが高く、新しいタスクに容易には適用できない。こうした欠点に対処するため、我々は Universal Visual Decomposer（UVD）を提案する。これは、ロボット制御のために設計された事前学習済み視覚表現を用いる、視覚的な長期操作のための既製のタスク分解手法である。大まかに言えば、UVD は事前学習済み表現の埋め込み空間における段階の切り替わりを検出することでサブゴールを発見する。補助情報なしに視覚的なデモのみで動作し、UVD は動画に埋め込まれた視覚的サブゴールを効果的に抽出でき、標準的な視覚運動ポリシーの訓練に加えて追加の訓練コストを一切生じない。UVD が発見したサブゴールで学習したゴール条件付きポリシーは、テスト時に未知タスクへの構成的汎化が大幅に向上する。さらに、UVD が発見したサブゴールは、強化学習において時間的に長い探索を立ち上げるゴールベースの報酬シェーピングの構築にも利用できる。我々は UVD をシミュレーションと実世界の両方のタスクで広範に評価し、すべての場合において、ドメイン内とドメイン外のタスク系列のいずれでも、模倣学習と強化学習の設定で UVD がベースラインを大きく上回ることを確認した。これは、シンプルでコンパクトな UVD フレームワークによる自動的な視覚的タスク分解の明確な利点を裏付けている。

リンク

  • arXiv 2310.08581: https://arxiv.org/abs/2310.08581
  • DOI 10.1109/ICRA57147.2024.10611125: https://doi.org/10.1109/ICRA57147.2024.10611125
  • PDF: https://arxiv.org/pdf/2310.08581v1
  • プロジェクトページ: https://zcczhang.github.io/UVD

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。