ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection
作者: Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín · RSS 2024
许可协议
- 开放获取
- 论文: CC BY 4.0
以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。
一句话总结
将双手运动建模为一个 1-DoF 螺旋关节，从一段人类 RGB-D 视频中提取它，并在 Tiago++ 上通过在螺旋空间中搜索加以改进；六项任务的 18 次试验中有 16 次成功。
为何重要
该方法每项任务只需一段 RGB-D 视频，不需要遥操作装置、动作捕捉或仿真器。将探索限制在螺旋轴上，使三项在 6-DoF 路径点探索下失败的任务在 25 个真实机器人回合内取得成功。
问题
双臂操作需要两条手臂在空间和时间上同步，这带来了很大的动作空间，在真实硬件上进行随机探索并不现实。人类视频是一种廉价的演示来源，但手部跟踪存在噪声，且人体与机器人身体不同，因此直接重放的动作会失败、必须加以改进，这又把巨大的搜索空间带了回来。
提出的方法
借鉴将双手建模为串联运动链的生物力学工作，ScrewMimic 定义了一种螺旋动作：每只手的抓取点、描述右手相对左手运动的 1-DoF 螺旋轴（移动、转动，或固定朝向的转动），以及一条可选的左手轨迹。它使用手-物体检测器和 FrankMocap 从一段 RGB-D 视频中提取这一动作，在经过几何增强的点云上训练 PointNet 模型，以针对新的物体位姿进行预测，并使用交叉熵方法在螺旋轴空间中改进失败的预测，所用奖励由回合长度和腕部力-力矩读数自动生成。成功的动作会被加回数据中，用于重新训练预测器。
关键见解
- 许多双手任务，无论有物理关节（瓶子、笔记本电脑、卷筒）还是没有（搅拌、切割、拉拉链），都可以用双手之间的一个虚拟 1-DoF 螺旋关节来描述。
- 将含噪声的手部跟踪轨迹投影到螺旋轴上，可以在机器人使用演示之前将其清理干净。
- 在螺旋轴参数上而不是在 N×6-DoF 路径点上探索，使真实机器人上的微调能够在 25 个回合内完成。
- 两个奖励项缺一不可：没有抓取丢失检测或平均力旋量排序时，开瓶和搅拌任务都失败了。
- 成功的微调动作可以用来重新训练预测器，之后它在同一物体上几乎能零样本成功，并能适应同类别的新实例。
主要结果
- 新的物体位姿（表 I）：开瓶 2/3、拉合拉链 3/3、插入卷筒 3/3、合上笔记本电脑 3/3、搅拌 2/3、切割 3/3，即 18 次试验中 16 次成功，论文将其报告为 90% 的总体成功率。
- 成功的试验平均需要 7 到 18 个回合（1 到 3 个轮次，每轮 5 个回合），上限为 25 个回合；微调约需 40 分钟。
- 动作空间消融（表 III）：螺旋空间探索在瓶子、卷筒和笔记本电脑任务上分别于 25 个回合中的第 16、7 和 11 个回合后成功；FM + N×6-DoF（DEFT 风格）和 Screw + N×6-DoF 探索在 25 个回合内三项任务全部失败，任务完成度为 0–50%。
- 在修正后的动作上重新训练（表 II）：在同一物体上，开瓶从 3 个轮次/16 个回合降至 0/1，插入卷筒从 1/7 降至 0/2；在一个新瓶子上，重新训练的模型需要 2/14，再经过一轮后为 0/1。
- 在加入最大噪声（σ = 3.0 cm、12.5°）时，提取的轴偏差为 2.1 cm 和 13.1°，微调仍在 4 个轮次、21 个回合后成功。
- 在 ModelNet-40 上预训练的 PointNet 降低了未见过瓶子上的轴误差（例如从 0.09 m、6° 降至 0.03 m、4.2°），而训练用瓶子上的误差保持不变。
局限
- 单一螺旋轴不适用于双手沿多个轴运动的任务，例如之字形切割。
- 每个物体类别都要训练一个单独的预测模型，这限制了泛化能力。
- 回合是否成功由人工记录，必要时由人重置场景。
- 只微调螺旋轴，不微调抓取接触点；笔记本电脑等反光表面必须加以遮盖，因为深度传感器无法从所有角度看到它们。
- 每次试验最多 25 个回合，结果取决于最初采样的螺旋动作；两次失败的试验都在未找到成功动作的情况下结束。
对领域的影响
入围 RSS 2024 杰出学生论文奖决选，被引用 44 次。官方项目页面链接了代码：github.com/UT-Austin-RobIn/ScrewMimic。
摘要
双臂操作是机器人领域长期存在的难题，因为它涉及大量自由度，并且需要严格的空间和时间同步才能产生有意义的行为。人类通过观察他人以及在玩耍中不断完善能力来学习双手操作技能。在这项工作中，我们的目标是让机器人从人类视频演示中学习双臂操作行为，并通过交互对其进行微调。受心理学和生物力学领域开创性工作的启发，我们提出将两只手之间的交互建模为一个串联运动学连杆，具体而言是一个螺旋运动，并以此定义一种新的双臂操作动作空间：螺旋动作。我们提出 ScrewMimic，这是一个利用这种新颖动作表示来促进从人类演示中学习和自监督策略微调的框架。我们的实验表明，ScrewMimic 能够从单个人类视频演示中学习多种复杂的双臂行为，并且优于直接在两条手臂原始运动空间中解释演示并进行微调的基线方法。更多信息和视频结果见 https://robin-lab.cs.utexas.edu/ScrewMimic/
链接
- arXiv 2405.03666: https://arxiv.org/abs/2405.03666
- DOI 10.48550/arXiv.2405.03666: https://doi.org/10.48550/arXiv.2405.03666
- PDF: https://arxiv.org/pdf/2405.03666v1
- 代码: https://github.com/UT-Austin-RobIn/ScrewMimic
- 项目主页: https://robin-lab.cs.utexas.edu/ScrewMimic/