Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Evaluating Real-World Robot Manipulation Policies in Simulation

著者: Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao · CoRL 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

SIMPLER：Google Robot と WidowX/BridgeData V2 のセットアップをオープンソースでシミュレーション化したもので、ポリシーの順位が実機の結果と一致する（Pick Coke Can で MMRV 0.031、r 0.976）。

重要な理由

模倣学習ポリシーを反復的に改良するチームは、実機の性能と一致する安価で再現可能な指標を得られる。論文は、検証用の行動 MSE がその代わりとしては不適切であることも示している（Table I）。環境は pip でインストールでき、標準の Gym インタフェースを用い、RTX 4090 1 枚で毎秒 3.5k のシミュレーションステップをレンダリングする。著者らはこれを実機評価に対して 7× の高速化としている。

課題

汎用マニピュレーションポリシーは多くのタスクとシーンでテストする必要があるが、その広さでの実機評価は高価で遅く、研究室間での再現も難しい。シミュレーション用に完全なデジタルツインを構築することもコストが高く、形状、材質、照明、物理特性を手作業で作る必要がある。

提案手法

著者らは、シミュレーションと実機の成功率がポリシーを同じ順に並べる程度にだけ現実的なシミュレーションを構築する。制御のギャップは、シミュレーション上のコントローラの剛性と減衰を同定すること（既存のデモンストレーションデータに対するエンドエフェクタ追従誤差での焼きなまし法）で埋め、視覚のギャップは、シミュレーションの前景物体の背後に実際の背景を「グリーンスクリーン合成」し、物体とロボットアームのテクスチャを実画像に合わせることで埋める。さらに、順位を誤った 2 つのポリシー間の実世界での性能差で各順位誤りを重み付けする Mean Maximum Rank Violation（MMRV）指標を提案する。

主な知見

  • 正確なデジタルツインは不要である。シミュレーションはポリシー間の相対的な順位を保てばよい。
  • Pearson r だけでは誤解を招きうる。線形の当てはまりを評価し、ポリシーの性能が近いと小さなノイズで大きく揺れるためである。MMRV は各順位の逆転を実際の性能差で重み付けする。
  • 視覚的な修正は組み合わせて適用したときにのみ効果がある。グリーンスクリーンの背景とテクスチャを合わせた引き出しとロボットにより、引き出しタスクで最も低い MMRV（0.050）が得られたが、一部だけの組み合わせは 0.087 のベースラインより良くならなかった。
  • コントローラのシステム同定が重要である。剛性と減衰を摂動させると、Pick Coke Can の MMRV は 0.031 から 0.070–0.100 に上昇した。
  • シミュレーションは、それまで試されていなかった実機での感度を予測できる。例えば Octo-Base のロボットアームのテクスチャへの感度であり、その後アームをギフト包装した実機実験で確認された。

主な結果

  • Visual Matching を用いた Google Robot：Pick Coke Can で MMRV 0.031 / r 0.976、Move Near で 0.111 / 0.855、Open Drawer and Place Apple で 0.000 / 0.969。Open/Close Drawer については Fig. 6 が 0.055 / 0.915、Table I の Drawer 列が 0.027 / 0.942 と報告しており、論文はこの違いを説明していない。
  • Google Robot のタスク平均（Table I）：Visual Matching は MMRV 0.056、r 0.924、Variant Aggregation は 0.143 と 0.778、検証用の行動 MSE は 0.375 と 0.308。
  • WidowX での BridgeData V2 タスク：平均 MMRV 0.014、r 0.890。1 つのタスクを除くすべてのタスクで、全ポリシーが正しく順位付けされた。
  • 2 つの RT-1 チェックポイントでの分布シフト：データ拡張なしで MMRV 0.000 / r 0.831、ありで 0.016 / 0.970。新しい単色のテーブル色は実機の成功率を 4%、シミュレーションを 2% 下げ、模様のあるテクスチャは実機を 25%、シミュレーションを 24% 下げた。
  • Isaac Sim で Pick Coke Can と Move Near に Variant Aggregation を用いて再現：MMRV 0.058 / r 0.919、SAPIEN では 0.082 / 0.923。
  • Octo-Base は、調整していないアームテクスチャのシミュレーションで 0%、調整したもので 29.3% であった。物体の質量、グリッパの摩擦、キャビネットの関節摩擦を変えると成功率は最大 15% 変動したが、相関は高いままであった。

制限事項

  • 対象は剛体のマニピュレーションのみで、変形物体はソフトボディシミュレーションを用いた今後の課題とされている。
  • グリーンスクリーン合成は固定カメラに限られ、物体の影やその他の視覚的な細部は再現されない。
  • 環境の作成には依然として、アセットの選定やシーンの組み立てに手作業が必要である。キャビネットのような関節を持つ物体が最も手間がかかる。
  • 物理特性は簡略化されており（GPT-4 やウェブ検索で調べた一様な密度、一般的な摩擦値）、絶対的な成功率が実世界と一致することは期待されておらず、一致が期待されるのは順位のみである。
  • 引き出しタスクにおける 1 つのポリシーの実機評価は、ロボットを損傷するおそれがあったため 2 試行で中止されたので、その MMRV は上限の推定値である。

分野への影響

被引用数は 426 である。著者らは simpler-env.github.io で、すべての SIMPLER 環境、RT-1、RT-1-X、Octo のポリシー推論コード、新しい環境を構築するためのガイドを公開しており、さらにコマンドラインのテクスチャ合わせスクリプト（github.com/Jiayuan-Gu/GeTex）も公開している。

概要

ロボティクス分野は、汎用的なロボットマニピュレーションポリシーに向けて大きな進歩を遂げてきた。しかし、そうしたポリシーの実世界評価はスケーラブルではなく、再現性の課題にも直面しており、ポリシーが実行できるタスクの範囲が広がるにつれてこれらの問題は悪化すると考えられる。本論文では、実環境とシミュレーション環境の間の制御と視覚の差異を、信頼性の高いシミュレーション評価に向けた主要な課題として特定し、実世界環境の完全に忠実なデジタルツインを作り込むことなくこれらのギャップを緩和する方法を提案する。次にこれらの方法を用いて、一般的な実機ロボットのセットアップにおけるマニピュレーションポリシー評価のためのシミュレーション環境群 SIMPLER を構築する。マニピュレーションポリシーのシミュレーションと実機の対になった評価を通じて、SIMPLER 環境でのポリシー性能と実世界での性能の間に強い相関があることを示す。さらに、SIMPLER での評価が、さまざまな分布シフトに対する感度など、実世界でのポリシーの振る舞いのモードを正確に反映することを見出した。汎用マニピュレーションポリシーとシミュレーション評価フレームワークの研究を促進するため、すべての SIMPLER 環境を、新しい環境を作成するためのワークフローとともに https://simpler-env.github.io でオープンソース化する。

リンク

  • arXiv 2405.05941: https://arxiv.org/abs/2405.05941
  • DOI https://doi.org/10.48550/arxiv.2405.05941: https://doi.org/https://doi.org/10.48550/arxiv.2405.05941
  • PDF: https://arxiv.org/pdf/2405.05941v1
  • コード: https://github.com/simpler-env/SimplerEnv
  • プロジェクトページ: https://simpler-env.github.io/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。