A System for General In-Hand Object Re-Orientation

作者: Tao Chen, Jie Xu, Pulkit Agrawal · CoRL 2021

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

结合教师-学生蒸馏、抬起位姿初始化和重力课程的无模型 RL，在仿真的 Shadow Hand 中重定向 2000 多个物体，掌心朝上或朝下均可，无需形状输入。

为何重要

这些策略无需任何物体形状输入就能达到任意 SO(3) 目标朝向，作者称这是他们最令人惊讶的发现，这也表明形状感知对手内重定向的重要性可能低于预期。手朝下和借助桌面的情形涵盖了以往专注于掌心朝上的学习式重定向工作未曾涉及的手部构型。

问题

在多指手内重定向物体，意味着要在手指与物体的接触不断建立和断开的同时控制一个高维动作空间。以往的方法大多只在仿真中针对已知物体模型的简单形状进行展示，或者在真实机器人上需要动作捕捉等额外设备，无法在不同物体间泛化，而且几乎都假设手朝上。

提出的方法

教师策略在 2000 多个 EGAD 和 YCB 物体上，利用仿真器特权状态（包括物体和指尖速度）用 PPO 训练，然后通过 DAgger 蒸馏为学生策略，学生策略要么看到关节位置加物体位姿，要么只看到来自两台 RGBD 相机、经稀疏 3D 卷积网络（Sparse3D-IMPALA-Net）处理的体素化点云。对于没有桌面的朝下的手，回合从一个单独的物体抬起策略的终止状态开始，并通过课程逐步引入重力。

关键见解

• 无法获取物体形状的策略也能重定向许多未见过的物体；手朝上时，学到的策略会把物体旋转着抛起，并在其朝向与目标一致时接住。
• 物体和指尖速度等特权状态能更快地训练出更好的策略，而通过 DAgger 蒸馏到 31 维的简化状态（关节位置、物体位置、朝向差）保留了大部分成功率。
• 手朝下且没有支撑时，直接训练的成功率为 0%；从一个抬起策略的终止状态开始回合，并加入重力课程，使该任务变得可学习。
• 将当前与目标物体点云之间的 Chamfer 距离作为额外的成功判据，可以处理对称物体，这类物体的不同朝向在相机看来完全相同。
• 在 50-150 g 物体上训练的策略，零样本重定向重新设定质量为 0.3-0.5 kg 的 YCB 物体，成功率约为 75%。

主要结果

• 手朝上，全状态 RNN 教师（在无域随机化的条件下训练和测试）：EGAD 上成功率 95.95 ± 0.8%，YCB 上 80.40 ± 1.6%。
• 手朝上，简化状态 RNN 学生：EGAD 上 91.96 ± 1.5%，YCB 上 81.04 ± 0.5%。
• 手朝下、在桌面上方，全状态 MLP：95.31 ± 0.9%（EGAD）和 81.59 ± 0.7%（YCB）；用于初始化的物体抬起策略成功率为 97.80%（EGAD）和 90.11%（YCB）。
• 手朝下、悬空，简化状态学生：74.10 ± 2.3%（EGAD）和 45.22 ± 2.1%（YCB）；使用重力课程后，YCB 上升至 67.33 ± 1.9%。
• 跨数据集零样本迁移，手朝上，全状态：EGAD→YCB 为 68.82 ± 1.7%，YCB→EGAD 为 96.41 ± 1.2%。
• 逐物体视觉策略（θ̄ = 0.2 rad，Chamfer 阈值 0.01）：马克杯上 89.67 ± 1.2%，玩具飞机上 84.52 ± 1.4%，对称的 Lego Duplo 积木上 50.21-66.57%。

局限

• 所有实验都在仿真中进行（Isaac Gym 中的仿真 Shadow Hand）；作者因疫情限制了研究范围，只为真实世界迁移提供了间接证据（域随机化和峰值力矩分析）。
• 由于计算成本，视觉策略在六个物体上逐物体各训练一个；一个适用于多个物体的视觉策略留待未来工作，GPU 显存被指为主要瓶颈。
• 成功率随物体形状变化很大：在分析的 100 个 YCB 失败案例中，60% 由细长、小或薄的物体造成，另有 19% 结束时接近目标但超出 0.1 rad 阈值。
• 作者没有完全排除抛接策略利用了仿真器漏洞的可能，尽管他们的受力分析表明并非如此。
• 手朝下且无支撑时的重定向在 YCB 上仍远低于手朝上的情形（学生在无课程时为 45.22%，有课程时为 67.33%）。

对领域的影响

获得 CoRL 2021 最佳论文奖，351 次引用。论文在其项目页面上发布了所学策略的视频，官方项目页面链接了一个代码库（Improbable-AI/dexenv）。

摘要

由于驱动空间维度高，且手指与物体之间的接触状态频繁变化，手内物体重定向一直是机器人领域中一个具有挑战性的问题。我们提出了一个简单的无模型框架，它能够学会在手朝上和朝下两种情况下重定向物体。我们展示了在这两种情况下重定向 2000 多个几何形状各异的物体的能力。学到的策略在新物体上表现出很强的零样本迁移性能。我们通过将这些策略蒸馏为使用在真实世界中容易获得的观测，提供了这些策略适用于真实世界操作的证据。所学策略的视频见：https://taochenshh.github.io/projects/in-hand-reorientation。

链接

• arXiv 2111.03043: https://arxiv.org/abs/2111.03043
• DOI 10.48550/arXiv.2111.03043: https://doi.org/10.48550/arXiv.2111.03043
• PDF: https://proceedings.mlr.press/v164/chen22a/chen22a.pdf
• 代码: https://github.com/Improbable-AI/dexenv
• 项目主页: https://taochenshh.github.io/projects/in-hand-reorientation