DexGraspNet: A Large-Scale Robotic Dexterous Grasp Dataset for General Objects Based on Simulation
作者: Ruicheng Wang, Jialiang Zhang, Jiayi Chen, Yinzhen Xu, Puhao Li, Tengyu Liu, He Wang · ICRA 2023
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
一个在 5355 个物体上包含 1.32M 个抓取的 ShadowHand 数据集，用更快的力封闭优化器构建并在 Isaac Gym 中检验；在其上训练的抓取模型优于在 DDGdata 上训练的模型。
为何重要
由于手的自由度很多，基于学习的灵巧抓取合成所需的数据远多于平行夹爪抓取。DexGraspNet 覆盖的物体、类别和抓取姿态都多于早期的 ShadowHand 数据；在其上训练两种现有的抓取合成方法，提高了它们在两个测试集上的成功率和姿态多样性。
问题
多指手的灵巧抓取远不如平行夹爪抓取研究得充分，部分原因是不存在大规模数据集；唯一的 ShadowHand 数据集来自 DDG，在 565 个物体上有 6.9K 个抓取。这些数据来自 GraspIt! 规划器，它在低维特征抓取空间中搜索，得到的姿态分布狭窄；而早期的可微力封闭方法成功率低、收敛慢。
提出的方法
作者改进了可微力封闭抓取合成：采用一种初始化方式，从膨胀的凸包上放置一只张开且朝向物体的手；用从物体点计算的反向穿透能量，使薄网格也能使用；并加入自穿透和关节限位的能量项，借助 Kaolin 有符号距离，以普通梯度下降进行优化。随后每个抓取都在 Isaac Gym 中于六个重力方向下进行测试，穿透上限为 0.1 cm，只保留通过两项检查的抓取。
关键见解
- 从一只张开且朝向物体的手开始优化，可提高力封闭抓取合成的成功率并加快收敛。
- 从物体点到手部网格计算穿透（反向穿透能量），无需带厚度的物体网格，因此可以使用低质量的扫描网格。
- GraspIt! 的姿态在每个手指根关节上只有一个自由度，且常常把关节角压到极限；基于优化的合成能给出更多样的姿态（平均关节角熵 5.962 对 4.246）。
- 稳定性与多样性之间存在权衡：两种受测方法都无法兼顾两者，GraspTTA 较高的熵伴随着较低的成功率。
主要结果
- 在 133 个类别的 5355 个物体上有 132 万个抓取，每个物体超过 200 个抓取；DDGdata 在 565 个物体上有 6.9k 个抓取。
- 生成成本：在 A100 GPU 上用 74 min 将 10,000 个抓取优化 6000 步，约 18% 有效；原方法在一块 NVIDIA 3090 上用 37 min 对 512 个抓取优化 10,000 步，约 3% 有效；整个数据集耗时 950 GPU 小时，而估计原需 50,000 GPU 小时。引言将同样的加速表述为每 10,000 个有效抓取从 400 GPU 小时降到 7 GPU 小时。
- 抓取质量：平均 Q1 为 0.1145，DDGdata 为 0.0712；在最好的 10% 上为 0.2533 对 0.2277。
- DDG 在 DexGraspNet 上训练与在 DDGdata 上训练相比：在 DexGraspNet 测试集上成功率 67.5% 对 57.4%，最大穿透 0.173 对 0.353 cm；在 DDGdata 测试集上成功率 75.9% 对 56.4%。
- GraspTTA 在 DexGraspNet 上训练与在 DDGdata 上训练相比：在 DexGraspNet 测试集上成功率 24.5% 对 17.1%，在 DDGdata 测试集上 39.3% 对 23.7%。
- 在 DexGraspNet 上训练的模型始终表现出更高的平均关节角熵，例如 DDG 在 DexGraspNet 测试集上为 5.683 对 4.958。
局限
- 该数据集并未覆盖参考分类法中的所有抓取类型：优化会把接触点拉向物体，因此抓取都是接触丰富的力量型抓取，精细抓取几乎没有出现。
- 该方法没有语义引导，因此不会生成功能性抓取，例如握住马克杯把手将其拿起。
- 所有抓取都针对仿真中的 ShadowHand，且仅在 Isaac Gym 中验证；未报告真实机器人上的抓取。
- 基准测试使用了比数据集验证更宽松的成功判定（六个重力方向中的一个，5 mm 穿透），因为原测试对基线方法过于严格。
- 现有抓取合成方法无法在保持合理成功率的同时学到该数据集的全部多样性。
对领域的影响
入围 ICRA 2023 杰出操作论文奖决赛，被引用 329 次。论文称数据和工具将在被接收后发布；官方项目页面链接了一个公开的代码仓库。
摘要
使用灵巧手抓取物体是机器人灵巧操作中一项关键而富有挑战性的任务。与使用平行夹爪抓取物体的领域相比，灵巧抓取的研究还很不充分，部分原因是缺乏大规模数据集。在这项工作中，我们提出了一个用于机器人灵巧抓取的大规模仿真数据集 DexGraspNet，以及一种用于多样化灵巧抓取合成的高效合成方法。借助一个经过大幅加速的可微力封闭估计器，我们首次能够高效且稳健地合成稳定而多样的抓取。我们选择了机器人领域常见的灵巧夹爪 ShadowHand，为 5355 个物体生成了 132 万个抓取，涵盖超过 133 个物体类别，每个物体实例包含超过 200 个多样的抓取，所有抓取都经过物理仿真器验证。与之前由 GraspIt! 生成的数据集相比，我们的数据集不仅物体和抓取更多，多样性和质量也更高。通过跨数据集实验，我们表明在我们的数据集上训练若干灵巧抓取合成算法，效果显著优于在之前的数据集上训练，这证明了 DexGraspNet 的大规模和多样性。我们将在论文被接收后发布数据和工具。
链接
- arXiv 2210.02697: https://arxiv.org/abs/2210.02697
- DOI 10.1109/ICRA48891.2023.10160982: https://doi.org/10.1109/ICRA48891.2023.10160982
- PDF: https://arxiv.org/pdf/2210.02697v1
- 代码: https://github.com/PKU-EPIC/DexGraspNet
- 项目主页: https://pku-epic.github.io/DexGraspNet/