Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

著者: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

5355 個の物体に対する 1.32M 件の把持からなる ShadowHand データセット。より高速なフォースクロージャ最適化器で構築し Isaac Gym で検証した。これで学習した把持モデルは DDGdata で学習したものを上回る。

重要な理由

ハンドの自由度が多いため、学習ベースの巧緻把持合成には平行ジョーによる把持よりはるかに多くのデータが必要である。DexGraspNet は以前の ShadowHand のデータより多くの物体、カテゴリ、把持姿勢をカバーしており、既存の 2 つの把持合成手法をこれで学習すると、両方のテストセットで成功率と姿勢の多様性がともに向上した。

課題

多指ハンドによる巧緻把持は、平行ジョーによる把持に比べてはるかに研究が少なく、その一因は大規模データセットが存在しないことにある。唯一の ShadowHand データセットは DDG によるもので、565 個の物体に対して 6.9K 件の把持しかない。このデータは GraspIt! プランナーによるもので、低次元の固有把持空間で探索するため姿勢の広がりが狭い。一方、以前の微分可能なフォースクロージャ手法は成功率が低く、収束も遅い。

提案手法

著者らは微分可能なフォースクロージャ把持合成を改良した。膨張させた凸包から、物体の方を向いた開いた状態のハンドを配置する初期化、薄いメッシュでも機能するよう物体の点から計算する逆貫通エネルギー、自己貫通と関節制限のエネルギー項を導入し、Kaolin の符号付き距離を用いた通常の勾配降下法で最適化する。その後、すべての把持を Isaac Gym で 6 方向の重力のもと、貫通上限 0.1 cm でテストし、両方のチェックに合格した把持だけを残す。

主な知見

  • 物体の方を向いた開いた状態のハンドから最適化を始めると、フォースクロージャ把持合成の成功率が上がり、収束が速くなる。
  • 物体の点からハンドのメッシュへの貫通を測る（逆貫通エネルギー）ことで、厚みのある物体メッシュが不要になり、品質の低いスキャンメッシュも使える。
  • GraspIt! の姿勢は指の付け根の関節ごとに 1 自由度しかなく、関節角が限界に張り付くことが多い。最適化ベースの合成はより多様な姿勢を与える（平均関節角エントロピー 5.962 対 4.246）。
  • 安定性と多様性はトレードオフの関係にある。評価したどちらの手法も両方では良い結果を出せず、GraspTTA の高いエントロピーは低い成功率を伴う。

主な結果

  • 133 カテゴリ、5355 個の物体に対して 132 万件の把持があり、物体あたり 200 件超。DDGdata は 565 個の物体に対して 6.9k 件。
  • 生成コスト：A100 GPU 上で 10,000 件の把持を 6000 ステップ最適化するのに 74 min で、約 18% が有効。元の手法は NVIDIA 3090 上で 512 件の把持を 10,000 ステップ最適化するのに 37 min で、約 3% が有効。データセット全体では 950 GPU 時間で、推定では 50,000 GPU 時間。序論では同じ高速化を、有効な把持 10,000 件あたり 400 GPU 時間から 7 GPU 時間への短縮と述べている。
  • 把持品質：平均 Q1 は 0.1145 で、DDGdata は 0.0712。上位 10% では 0.2533 対 0.2277。
  • DexGraspNet で学習した DDG と DDGdata で学習した DDG の比較：DexGraspNet テストセットで成功率 67.5% 対 57.4%、最大貫通 0.173 対 0.353 cm。DDGdata テストセットで成功率 75.9% 対 56.4%。
  • DexGraspNet で学習した GraspTTA と DDGdata で学習した GraspTTA の比較：成功率は DexGraspNet テストセットで 24.5% 対 17.1%、DDGdata テストセットで 39.3% 対 23.7%。
  • DexGraspNet で学習したモデルは常に高い平均関節角エントロピーを示した。例えば DDG は DexGraspNet テストセットで 5.683 対 4.958。

制限事項

  • データセットは参照分類のすべての把持タイプをカバーしていない。最適化が接触点を物体に引き寄せるため、把持は接触の多いパワーグラスプとなり、精密把持はほとんど現れない。
  • 手法に意味的な誘導がないため、マグカップを取っ手で持ち上げるといった機能的な把持は生成されない。
  • すべての把持はシミュレーション上の ShadowHand のためのもので、Isaac Gym でのみ検証されている。実ロボットでの把持は報告されていない。
  • 元のテストはベースラインには厳しすぎたため、ベンチマークではデータセットの検証より易しい成功判定（6 方向の重力のうち 1 方向、貫通 5 mm）を用いている。
  • 既存の把持合成手法は、妥当な成功率を保ったままデータセットの多様性を十分に学習できない。

分野への影響

ICRA 2023 Outstanding Manipulation Paper 賞のファイナリストで、被引用数は 329。論文はデータとツールを採択後に公開するとしており、公式プロジェクトページは公開コードリポジトリにリンクしている。

概要

巧緻なハンドによる物体把持は、ロボットの巧緻操作において重要でありながら難しいタスクである。平行グリッパーによる物体把持の分野と比べ、巧緻把持はほとんど研究されておらず、その一因は大規模データセットの欠如にある。本研究では、ロボットの巧緻把持のための大規模なシミュレーションデータセット DexGraspNet と、多様な巧緻把持を合成するための非常に効率的な合成手法を提示する。大幅に高速化した微分可能なフォースクロージャ推定器を活用することで、我々は初めて、安定かつ多様な把持を効率的かつロバストに合成できるようになった。ロボティクスでよく見られる巧緻グリッパーである ShadowHand を選び、5355 個の物体に対して 132 万件の把持を生成した。これは 133 を超える物体カテゴリをカバーし、物体インスタンスごとに 200 を超える多様な把持を含み、すべての把持が物理シミュレータで検証されている。GraspIt! で生成された従来のデータセットと比べ、我々のデータセットは物体と把持が多いだけでなく、多様性と品質も高い。データセットをまたいだ実験により、巧緻把持合成のいくつかのアルゴリズムを我々のデータセットで学習すると、従来のデータセットで学習した場合を大きく上回ることを示し、DexGraspNet の大規模さと多様性を実証する。データとツールは採択後に公開する予定である。

リンク

  • arXiv 2210.02697: https://arxiv.org/abs/2210.02697
  • DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
  • PDF: https://arxiv.org/pdf/2210.02697v1
  • コード: https://github.com/PKU-EPIC/DexGraspNet
  • プロジェクトページ: https://pku-epic.github.io/DexGraspNet/

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。