DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation

作者: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

一個在 5355 個物體上含 1.32M 個抓取的 ShadowHand 資料集，以更快的力封閉最佳化器建構並在 Isaac Gym 中檢驗；在其上訓練的抓取模型勝過在 DDGdata 上訓練的模型。

為何重要

由於手的自由度很多，以學習為基礎的靈巧抓取合成所需的資料遠多於平行夾爪抓取。DexGraspNet 涵蓋的物體、類別與抓取姿態都多於先前的 ShadowHand 資料；在其上訓練兩種現有的抓取合成方法，提高了它們在兩個測試集上的成功率與姿態多樣性。

問題

多指手的靈巧抓取遠不如平行夾爪抓取研究得多，部分原因是沒有大規模資料集；唯一的 ShadowHand 資料集來自 DDG，在 565 個物體上有 6.9K 個抓取。這些資料來自 GraspIt! 規劃器，它在低維度的特徵抓取空間中搜尋，得到的姿態分布狹窄；而先前的可微分力封閉方法成功率低、收斂慢。

提出的方法

作者改良了可微分力封閉抓取合成：以一種初始化方式，從膨脹後的凸包上放置一隻張開且面向物體的手；以從物體點計算的反向穿透能量，讓薄網格也能使用；並加入自我穿透與關節限制的能量項，搭配 Kaolin 有號距離，以一般梯度下降進行最佳化。之後每個抓取都在 Isaac Gym 中於六個重力方向下測試，穿透上限為 0.1 cm，只保留兩項檢查都通過的抓取。

關鍵見解

從一隻張開且面向物體的手開始最佳化，可提高力封閉抓取合成的成功率並加快收斂。
從物體點到手部網格計算穿透量（反向穿透能量），就不需要具厚度的物體網格，因此可使用品質較低的掃描網格。
GraspIt! 的姿態在每個手指根部關節只有一個自由度，且常把關節角壓到極限；以最佳化為基礎的合成能給出更多樣的姿態（平均關節角熵 5.962 對 4.246）。
穩定性與多樣性之間有取捨：兩種受測方法都無法兩者兼顧，而 GraspTTA 較高的熵伴隨著較低的成功率。

主要結果

在 133 個類別的 5355 個物體上有 132 萬個抓取，每個物體超過 200 個抓取；DDGdata 在 565 個物體上有 6.9k 個抓取。
產生成本：在 A100 GPU 上以 74 min 將 10,000 個抓取最佳化 6000 步，約 18% 有效；原方法在一張 NVIDIA 3090 上以 37 min 對 512 個抓取最佳化 10,000 步，約 3% 有效；整個資料集耗時 950 GPU 小時，而估計原需 50,000 GPU 小時。引言把同樣的加速表述為每 10,000 個有效抓取從 400 GPU 小時降至 7 GPU 小時。
抓取品質：平均 Q1 為 0.1145，DDGdata 為 0.0712；在最佳的 10% 上為 0.2533 對 0.2277。
DDG 在 DexGraspNet 上訓練與在 DDGdata 上訓練相比：在 DexGraspNet 測試集上成功率 67.5% 對 57.4%，最大穿透 0.173 對 0.353 cm；在 DDGdata 測試集上成功率 75.9% 對 56.4%。
GraspTTA 在 DexGraspNet 上訓練與在 DDGdata 上訓練相比：在 DexGraspNet 測試集上成功率 24.5% 對 17.1%，在 DDGdata 測試集上 39.3% 對 23.7%。
在 DexGraspNet 上訓練的模型一律呈現較高的平均關節角熵，例如 DDG 在 DexGraspNet 測試集上為 5.683 對 4.958。

限制

資料集並未涵蓋參考分類法中的所有抓取類型：最佳化會把接觸點拉向物體，因此抓取都是接觸豐富的強力抓握，精細抓握幾乎沒有出現。
此方法沒有語意引導，因此不會產生功能性抓取，例如握住馬克杯把手把它拿起來。
所有抓取都是針對模擬中的 ShadowHand，且只在 Isaac Gym 中驗證；未報告任何真實機器人上的抓取。
基準測試採用比資料集驗證更寬鬆的成功判定（六個重力方向中的一個，5 mm 穿透），因為原本的測試對基線方法太嚴格。
現有的抓取合成方法無法在維持合理成功率的同時，學到此資料集的完整多樣性。

對領域的影響

入圍 ICRA 2023 傑出操作論文獎決選，被引用 329 次。論文表示資料與工具將在獲接受後釋出；官方專案頁面連結了一個公開的程式碼儲存庫。

摘要

以靈巧手抓取物體是機器人靈巧操作中一項關鍵卻具挑戰性的任務。相較於以平行夾爪抓取物體的領域，靈巧抓取的研究仍相當不足，部分原因是缺乏大規模資料集。在這項研究中，我們提出用於機器人靈巧抓取的大規模模擬資料集 DexGraspNet，以及一種用於多樣化靈巧抓取合成的高效率合成方法。藉由一個大幅加速的可微分力封閉估計器，我們首次能有效率且穩健地合成穩定又多樣的抓取。我們選用機器人領域常見的靈巧夾爪 ShadowHand，為 5355 個物體產生了 132 萬個抓取，涵蓋超過 133 個物體類別，每個物體實例含有超過 200 個多樣的抓取，所有抓取皆經物理模擬器驗證。相較於先前由 GraspIt! 產生的資料集，我們的資料集不僅物體與抓取更多，多樣性與品質也更高。透過跨資料集實驗，我們證明在我們的資料集上訓練數種靈巧抓取合成演算法，成效明顯優於在先前資料集上訓練，顯示 DexGraspNet 的大規模與多樣性。我們將在論文獲接受後釋出資料與工具。

連結

arXiv 2210.02697: https://arxiv.org/abs/2210.02697
DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
PDF: https://arxiv.org/pdf/2210.02697v1
程式碼: https://github.com/PKU-EPIC/DexGraspNet
專案頁面: https://pku-epic.github.io/DexGraspNet/