Towards Generalizable Zero-Shot Manipulation via Translating Human Interaction Plans

作者: Homanga Bharadhwaj, Abhinav Gupta, Vikash Kumar, Shubham Tulsiani · ICRA 2024

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

HOPMan 利用网络视频，从场景图像和目标图像预测未来的手部与物体掩码，再把这一规划翻译为 Franka Panda 的动作，以零样本方式覆盖 16 种技能和 40 种物体。

为何重要

关于手和物体如何运动的知识大多来自被动的网络视频，因此机器人专用的数据量保持很小：作者在大约 3 天内收集了 600 条配对轨迹。一个目标条件策略在未见过的物体实例、未见过的物体-技能组合、未见过的物体类别和未见过的技能上进行了测试，包括在未经改造的厨房和办公室中搭载于移动底盘上测试。

问题

为每个任务、物体和技能收集机器人交互数据无法规模化，而近期具备广泛能力的系统需要多年的机器人数据，却仍然主要局限于抓取、放置和推动。利用人类视频获取视觉表示或可供性的方法仍需要大量机器人演示或部署时训练，另一些方法则为每个任务学习单独的策略。

提出的方法

该策略被分解为两部分：一个目标条件扩散模型，从当前图像和目标图像预测七帧未来的手部和物体掩码，在来自 EPIC-KITCHENS 和 Ego4D 的约 150,000 个两秒片段上训练；以及一个 Transformer 翻译策略，把预测的掩码和当前观测映射为 8-D 动作（7 个关节位置加夹爪开/合）。翻译模型在约 400 条实验室内和 200 条野外的人-机器人配对轨迹上训练，另加约 1000 条仅含机器人的轨迹，在这些轨迹中机器人被修补移除，并修补加入一只人手。

关键见解

• 手和被操作物体的语义掩码构成一个紧凑的规划空间，它舍弃与任务无关的场景细节，并且可以从未经整理的人类视频中学习。
• 把策略拆分为规划预测和规划到动作的翻译，使需要大量数据的部分能从网络视频中学习，而机器人专用的部分只需要少量配对数据。
• 幻觉生成的配对数据（把机械臂修补成人手的机器人视频）尽管并不完美，但在加入真实配对数据后改善了翻译模型。
• 论文提出了一个结构化的泛化等级：轻度（已见物体和技能的新构型）、标准（新实例、未见过的物体-技能组合）和强（未见过的物体类别、未见过的技能）。

主要结果

• HOPMan 在轻度 / 实例 / 未见组合 / 未见类别 / 未见技能泛化上的桌面成功率（%）：68 / 58 / 50 / 40 / 25；目标条件 BC 为 43 / 20 / 13 / 0 / 0，VRB 为 50 / 25 / 15 / 0 / 0。
• HOPMan 的野外成功率（%）：60 / 40 / 40 / 30 / 25，而 BC 为 45 / 10 / 10 / 0 / 0，基于 MimicPlay 的 MP 基线为 50 / 15 / 10 / 0 / 0。
• 仅在被动人类视频上训练的 H2R 在桌面上得分 20 / 20 / 15 / 15 / 15，在野外得分 15 / 10 / 15 / 15 / 10；它是唯一在强泛化上高于零的基线。
• 仅翻译模型，在给定真值手-物体掩码时（%）：配对加幻觉数据 85 / 65 / 60 / 60 / 25，仅配对数据 85 / 60 / 50 / 30 / 15，仅幻觉数据 30 / 25 / 25 / 20 / 0。
• 评估涵盖约 100 项任务，由 16 种技能和 40 种物体类型构成，每种物体类型有 2 到 3 个实例。

局限

• 作者表示，所处理的未见任务在复杂度上仍然有限，并把组合多种技能的长时程任务留待未来工作。
• 他们预计该框架在灵巧操作上会遇到困难，因为从网络视频中恢复精确的手部和手指关节姿态仍是一个未解决的问题。
• 强泛化上的成功率在桌面上保持在 25% 到 40%，在野外为 25% 到 30%。
• 成功与否通过人工检查最终物体构型与目标图像的接近程度来判定，且没有说明每种设置的试验次数。

对领域的影响

入围 IEEE ICRA 2024 机器人操作最佳论文奖决选，被引用 82 次。论文链接了一个包含机器人视频的项目网站；没有给出代码仓库。

摘要

我们的目标是开发能够凭借多样化的操作技能，以零样本方式与各类未见过的通用物体交互的机器人，并展示被动的人类视频如何能够作为学习这类通用机器人的丰富数据来源。不同于直接从交互数据中学习机器人应如何行动的典型机器人学习方法，我们采用一种分解式方法：利用大规模人类视频学习人类会如何完成期望的任务（人类的“规划”），然后把这一规划“翻译”到机器人的具身形态上。具体而言，我们学习一个人类“规划预测器”，在给定场景的当前图像和目标图像时，预测未来的手部和物体构型。我们将其与一个“翻译”模块结合，该模块学习一个以规划为条件的机器人操作策略，从而能够以零样本方式、在部署时无需训练地遵循人类规划完成通用操作任务。重要的是，规划预测器可以利用大规模人类视频进行学习，而翻译模块只需要少量域内数据，并且能够泛化到训练中未见过的任务。我们展示了所学习的系统能够执行超过 16 种操作技能，这些技能可泛化到 40 种物体，涵盖 100 项用于桌面操作和多样化野外操作的真实世界任务。https://homangab.github.io/hopman/

链接

• arXiv 2312.00775: https://arxiv.org/abs/2312.00775
• DOI 10.1109/ICRA57147.2024.10610288: https://doi.org/10.1109/ICRA57147.2024.10610288
• PDF: https://arxiv.org/pdf/2312.00775v1
• 项目主页: https://homangab.github.io/hopman/