R3M: A Universal Visual Representation for Robot Manipulation

作者: Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, Abhinav Gupta · CoRL 2022

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

R3M 在 Ego4D 视频及其字幕上预训练一个冻结的 ResNet 编码器；基于它的行为克隆在 12 个仿真任务中以及在一台真实 Franka 上用 20 条演示，胜过 CLIP、MoCo 和 ImageNet 特征。

为何重要

该编码器以预训练的 ResNet18、ResNet34 和 ResNet50 权重形式发布，一次调用即可加载，因此团队可以用少量演示训练基于图像的操作策略，而无需为视觉部分收集领域内数据。真实机器人任务是在一名研究生的公寓里学会的，每个任务使用 20 条遥操作演示。

问题

在目标领域的数据上端到端训练基于图像的操作策略需要大量数据，且泛化能力差。机器人领域没有可与 ImageNet 特征或 BERT 相比、可下载并复用于任何操作任务的预训练视觉模型，而现有的机器人数据集只涵盖有限数量的任务，最多也只在少数几个环境中。

提出的方法

R3M 在 Ego4D（超过 3,500 小时带语言标注的第一人称人类视频）上训练一个 ResNet 图像编码器，使用三项：时间对比损失，使时间上相近的帧嵌入彼此接近；视频-语言对齐损失，评估从片段第一帧到之后某一帧的变化是否与其字幕相符；以及用于获得稀疏、紧凑嵌入的 L1 和 L2 惩罚。随后编码器被冻结，下游策略通过行为克隆训练，形式为一个两层 MLP，输入为图像嵌入与机器人本体感受拼接而成的向量。

关键见解

• 日常的人类视频（Ego4D）可以作为机器人视觉表示的预训练数据，尽管其具身形态与机器人不同。
• 三个训练项都有贡献；去掉视频-语言对齐导致的下降最大，在所有环境上的平均值从 62.4% 降至 53.2%，在 Adroit 上从 65.0% 降至 45.6%。
• 仅凭数据无法解释这一提升：在 Franka Kitchen 和 Adroit 上，用相同 Ego4D 帧训练的 MoCo 得分比 R3M 低约 10%，MVP 模型低约 20%。
• 稀疏性惩罚在 Franka Kitchen 和 MetaWorld 上有帮助，但在 Adroit 上去掉它反而略有帮助，作者推测这是因为 Adroit 使用了更多的演示。
• 在所测试的每个相机视角和每种演示集规模下，R3M 都保持领先，而 CLIP 与 MoCo (345) 之间的排名随视角而变化。

主要结果

• 在 MetaWorld、Franka Kitchen 和 Adroit 的 12 个仿真任务上，R3M 的平均成功率约为 62%，比从零训练高 20% 以上，比 CLIP、有监督 ImageNet 和 MoCo (345) 特征高 10% 以上。
• R3M 在全部 3 个仿真环境以及 12 个任务中的 11 个上都是最佳方法。
• 消融（Table 1，所有领域）：完整 R3M 62.4%，无裁剪增强 60.4%，无 L1 惩罚 59.4%，无语言对齐 53.2%。
• 数据与目标函数的对比（Table 2）：Franka Kitchen 上 R3M 为 53.1%，在 Ego4D 上训练的 MoCo 为 42.0%，MVP 为 27.0%；Adroit 上为 65.0%、54.9% 和 51.4%。
• 真实 Franka Emika Panda，每个任务 20 条演示、10 次试验：R3M 平均 56%，CLIP 为 24%（关抽屉 80% 对 70%，把口罩放进梳妆柜 30% 对 10%，把生菜放进平底锅 60% 对 0%，推杯子 70% 对 40%，叠毛巾 40% 对 0%）。

局限

• 评估仅限于模仿学习，具体而言是少量演示下的行为克隆；适合强化学习的预训练表示可能与适合模仿学习的不同。
• R3M 只提供单帧的状态表示；将它或其语言对齐模块用于奖励学习或任务指定留待未来工作。
• MoCo (345) 基线的设置与 Parisi 等人的不同（本体感受、帧堆叠），因此其数字在两项工作之间不能直接比较。
• 真实机器人比较只涵盖 R3M 和 CLIP，每个任务 10 次试验。
• 仿真成功率是每 1,000 个训练步进行一次评估所达到的最佳值，并在随机种子、视角和演示集规模上取平均。

对领域的影响

被引用 541 次。作者发布了以 ResNet18、ResNet34 和 ResNet50 为骨干的预训练 R3M 模型以及训练代码。

摘要

我们研究在多样化人类视频数据上预训练的视觉表示，如何使下游机器人操作任务的学习更具数据效率。具体而言，我们使用 Ego4D 人类视频数据集预训练一个视觉表示，结合了时间对比学习、视频-语言对齐，以及一个鼓励稀疏紧凑表示的 L1 惩罚。得到的表示 R3M 可作为冻结的感知模块用于下游策略学习。在一套 12 个仿真机器人操作任务上，我们发现 R3M 相比从零训练将任务成功率提高了 20% 以上，相比 CLIP 和 MoCo 等最先进的视觉表示提高了 10% 以上。此外，R3M 使一台 Franka Emika Panda 机械臂只需 20 条演示，就能在一间真实、杂乱的公寓中学会一系列操作任务。

链接

• arXiv 2203.12601: https://arxiv.org/abs/2203.12601
• DOI https://doi.org/10.48550/arxiv.2203.12601: https://doi.org/https://doi.org/10.48550/arxiv.2203.12601
• PDF: https://proceedings.mlr.press/v205/nair23a/nair23a.pdf
• 代码: https://github.com/facebookresearch/r3m
• 项目主页: https://sites.google.com/view/robot-r3m