Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

A System for General In-Hand Object Re-Orientation

著者: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

教師-生徒蒸留、持ち上げ姿勢による初期化、重力のカリキュラムを用いたモデルフリー RL が、シミュレーション上の Shadow Hand で手のひらを上または下に向けて、形状入力なしに 2000 を超える物体を再配向する。

重要な理由

これらの方策は物体形状の入力なしに任意の SO(3) の目標姿勢に到達する。著者らはこれを最も驚くべき発見と呼んでおり、手内再配向において形状の知覚は予想ほど重要でない可能性を示唆している。下向きの手やテーブルを利用する場合は、上向きの手に焦点を当てていた従来の学習ベースの再配向研究が扱っていなかった手の構成をカバーしている。

課題

多指ハンドの中で物体を再配向するには、指と物体の接触が生じたり離れたりし続ける中で、高次元の行動空間を制御する必要がある。従来の手法は主にシミュレーションで既知の物体モデルを持つ単純な形状に対して示されたか、実ロボットではモーションキャプチャのような追加の装置を必要とし、物体間で汎化せず、ほぼすべてが手が上向きであることを仮定していた。

提案手法

教師方策は、2000 を超える EGAD と YCB の物体で、シミュレータの特権状態（物体と指先の速度を含む）を用いて PPO で学習され、その後 DAgger によって生徒方策に蒸留される。生徒方策が見るのは、関節位置と物体の姿勢か、2 台の RGBD カメラからのボクセル化された点群を疎な 3D 畳み込みネットワーク（Sparse3D-IMPALA-Net）で処理したもののみである。テーブルのない下向きの手では、別の物体持ち上げ方策の終了状態からエピソードを開始し、カリキュラムによって重力を段階的に導入する。

主な知見

  • 物体形状にアクセスできない方策でも多くの未知の物体を再配向できる。手が上向きの場合、学習された戦略は物体を回転させながら投げ上げ、その向きが目標と一致したときに受け止める。
  • 物体や指先の速度のような特権状態を用いると、より良い方策をより速く学習でき、DAgger による 31 次元の縮約状態（関節位置、物体位置、向きの差）への蒸留でも成功率の大部分が保たれる。
  • 手が下向きで支えがない場合、直接学習させると成功率は 0% である。持ち上げ方策の終了状態からエピソードを開始し、重力のカリキュラムを加えることで、タスクを学習可能にしている。
  • 現在の物体の点群と目標の点群の間の Chamfer 距離を追加の成功判定として用いることで、異なる向きでもカメラからは同一に見える対称な物体に対処できる。
  • 50-150 g の物体で学習した方策は、質量を 0.3-0.5 kg に変更した YCB の物体を、ゼロショットで約 75% の成功率で再配向する。

主な結果

  • 手が上向き、全状態の RNN 教師（ドメインランダム化なしで学習・テスト）：EGAD で成功率 95.95 ± 0.8%、YCB で 80.40 ± 1.6%。
  • 手が上向き、縮約状態の RNN 生徒：EGAD で 91.96 ± 1.5%、YCB で 81.04 ± 0.5%。
  • 手が下向きでテーブルの上、全状態の MLP：95.31 ± 0.9%（EGAD）、81.59 ± 0.7%（YCB）。初期化に用いた物体持ち上げ方策の成功率は 97.80%（EGAD）と 90.11%（YCB）。
  • 手が下向きで空中、縮約状態の生徒：74.10 ± 2.3%（EGAD）、45.22 ± 2.1%（YCB）。重力のカリキュラムを用いると YCB は 67.33 ± 1.9% に上昇。
  • データセット間のゼロショット転移、手が上向き、全状態：EGAD→YCB で 68.82 ± 1.7%、YCB→EGAD で 96.41 ± 1.2%。
  • 物体ごとの視覚方策（θ̄ = 0.2 rad、Chamfer 閾値 0.01）：マグカップで 89.67 ± 1.2%、おもちゃの飛行機で 84.52 ± 1.4%、対称な Lego Duplo のピースで 50.21-66.57%。

制限事項

  • すべての実験はシミュレーション（Isaac Gym 上のシミュレーションの Shadow Hand）で行われている。著者らはパンデミックのために範囲を限定し、実世界への転移については間接的な根拠（ドメインランダム化とピークトルクの分析）のみを示している。
  • 計算コストのため、視覚方策は 6 つの物体について物体ごとに 1 つずつ学習された。多くの物体に対応する 1 つの視覚方策は今後の課題とされ、GPU メモリが主なボトルネックとして挙げられている。
  • 成功率は物体の形状によって大きく異なる。分析した YCB の失敗 100 件のうち 60% は長い、小さい、または薄い物体によるもので、さらに 19% は目標の近くで終わったが 0.1 rad の閾値の外だった。
  • 著者らは、投げて受け止める戦略がシミュレータの抜け穴を利用している可能性を完全には排除していないが、力の分析はそうではないことを示している。
  • 手が下向きで支えがない場合の再配向は、YCB で上向きの場合を大きく下回ったままである（カリキュラムなしの生徒で 45.22%、ありで 67.33%）。

分野への影響

CoRL 2021 Best Paper Award を受賞し、被引用数は 351。論文はプロジェクトページで学習された方策の動画を公開しており、公式プロジェクトページはコードリポジトリ（Improbable-AI/dexenv）にリンクしている。

概要

手内での物体の再配向は、高次元の駆動空間と、指と物体の間の接触状態の頻繁な変化のために、ロボティクスにおける難しい問題であり続けてきた。我々は、手を上向きにした場合と下向きにした場合の両方で物体を再配向することを学習できる、シンプルなモデルフリーのフレームワークを提示する。両方の場合において、幾何形状の異なる 2000 を超える物体を再配向できることを示す。学習された方策は、新しい物体に対して強いゼロショット転移性能を示す。実世界で容易に得られる観測を用いるようにこれらの方策を蒸留することで、これらの方策が実世界での運用に適していることの根拠を示す。学習された方策の動画は https://taochenshh.github.io/projects/in-hand-reorientation で見られる。

リンク

  • arXiv 2111.03043: https://arxiv.org/abs/2111.03043
  • DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
  • PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
  • コード: https://github.com/Improbable-AI/dexenv
  • プロジェクトページ: https://taochenshh.github.io/projects/in-hand-reorientation

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。