Language-Driven Representation Learning for Robotics

作者: Siddharth Karamcheti, Suraj Nair, Annie S. Chen, Thomas Kollar, Chelsea Finn, Dorsa Sadigh, Percy Liang · RSS 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

Voltron 在 Something-Something-v2 上将以语言为条件的掩码重建与字幕生成相结合，在一个新的包含五个问题的机器人评估套件上，优于数据量相同的 MVP 和 R3M。

为何重要

机器人学习需要的视觉特征不仅用于控制，还用于感知和语言接地。在预训练数据和模型容量保持相同的情况下，论文表明，预训练中引入语言即使在没有语言输入的任务上也能改善结果，并且提供了一个用于跨这些问题比较表示的评估套件。

问题

在人类视频上预训练的视觉表示，如 MVP（掩码自编码）和 R3M（对比学习），主要是在视觉运动控制上进行评估的。在更广泛的测试中，它们的表现并不一致：MVP 在抓取可供性预测上表现良好，但在语言条件模仿上表现吃力，而 R3M 则正好相反，在抓取可供性预测上完全失效。

提出的方法

Voltron 将视频帧及其字幕输入一个掩码自编码流程，其 Transformer 编码器对视觉和语言进行联合嵌入。它以概率 α 根据视觉上下文生成字幕，而不是以字幕为条件，从而在低层次重建特征与高层语义之间进行权衡；研究了三个变体：V–Cond（一帧，α = 0）、V–Dual（两帧，α = 0）和 V–Gen（两帧，α = 0.5）。作者还构建了一个包含五个问题的评估套件：抓取可供性预测、指代表达接地、仿真中的单任务视觉运动控制、真实 Franka 机械臂上的语言条件模仿，以及零样本意图评分。

关键见解

即使测试时没有语言，以语言为条件的掩码重建也有帮助：在抓取可供性预测上，V–Cond 优于 R-MVP 和更大的 MVP（EgoSoup）。
没有哪个 Voltron 变体在所有方面都是最好的：意图评分需要语言生成（V–Gen），但它会损害一些控制任务；单帧的 V–Cond 在非情节式任务上表现良好，但在控制上不及双帧模型。
生成式语言建模比掩码语言建模表现更稳定：复现的 M3AE 在前 20 个 epoch 内就将其语言损失过拟合到困惑度 1，并且在测试的每项评估中得分都更低。
作者对指代表达接地上大幅提升的解释是：在预训练期间于编码器内部融合视觉与语言，而不是事后组合分开的文本和图像编码。
用于特征提取的多头注意力池化（MAP）改进了每个 ViT 模型，并且与原始 MVP 工作中的提取流程相比，使视觉运动控制的成功率几乎翻倍。

主要结果

抓取可供性预测（ARC Grasping，ViT-S）：V–Cond 在 Top-1 / Top-1% / Top-5% 精度上得分 85.15 / 80.71 / 47.45，而 R-MVP 为 72.94 / 61.47 / 39.77，R-R3M 为 40.38 / 40.55 / 28.66（表 2）。
指代表达接地（OCID-Ref，0.25 IoU 下的总准确率）：V–Cond 为 89.38，而 R-R3M 为 63.30，R-MVP + DistilBERT 为 49.58，CLIP ViT-B 为 68.35（表 3）。
将 V–Cond 从 ViT-S（22M 参数）扩展到 ViT-B（86M），抓取 Top-5% 精度从 47.45 提高到 62.33，指代表达总准确率从 89.38 提高到 90.77。
消融（表 4）：去掉语言后，抓取 Top-1% 从 80.71 降至 65.83，指代准确率从 89.38 降至 53.44，Franka Kitchen 成功率（n = 25）从 38.2 ± 5.09 降至 33.1 ± 4.79；R-M3AE 的得分为 52.79、51.61 和 24.0 ± 4.21。
在 WHiRL 视频上的零样本意图评分：V–Gen 在人类和机器人视频中都能跟踪“打开水龙头”的进度，而 CLIP 和 R3M 给出的分数噪声很大（定性结果，图 7）。
真实机器人语言条件模仿（5 个任务，每个任务 20 个演示）：Voltron 模型的成功率最高，并且与 R-MVP 一样对视觉干扰物保持鲁棒；这些数字仅在图 6 中报告。

局限

作者缺乏以原始 MVP 和 R3M 的规模进行训练的算力；直接对比使用的是他们自己在 Something-Something-v2 上的复现，官方的 MVP、R3M 和 CLIP 模型被标注为不可直接比较（作者所述）。
没有任何单一表示在所有任务上都最强；低层次与高层次特征之间的权衡依然存在（作者所述）。
Franka Kitchen 控制上的绝对成功率仍然很低；从有限数据中学习闭环策略仍是一个开放问题（作者所述）。
预训练最多使用双帧上下文，因为四帧超出了可用内存，并且未评估 α = 1（仅生成）。
意图评分并不完美：水龙头打开后，人类视频的分数保持在高位，而机器人视频的分数却逐渐下降，作者无法解释其原因。

对领域的影响

入围 RSS 2023 最佳论文奖决选，被引用 242 次。作者发布了预训练的 V–Cond、V–Dual 和 V–Gen 模型（另有一个 ViT-Base V–Cond 和中间检查点）、预训练和适配代码、包含确切训练批次的预处理后 Something-Something-v2 数据，以及一个独立的评估套件。

摘要

近期面向机器人的视觉表示学习工作表明，从人类执行日常任务的大型视频数据集中学习是可行的。借助掩码自编码和对比学习等方法，这些表示在迁移到视觉运动控制的策略学习时表现出很强的效果。但是，机器人学习涵盖控制之外的一系列多样化问题，包括抓取可供性预测、语言条件模仿学习以及用于人机协作的意图评分等。首先，我们证明现有表示在这些任务上的结果并不一致：掩码自编码方法捕捉到的是低层次的空间特征，代价是牺牲了高层语义，而对比学习方法则恰恰相反。随后，我们提出了 Voltron，一个从人类视频及其相关字幕中进行语言驱动表示学习的框架。Voltron 在两者之间进行权衡：以语言为条件的视觉重建用于学习低层次的视觉模式，基于视觉的语言生成用于编码高层语义。我们还构建了一个新的评估套件，涵盖五个不同的机器人学习问题，作为全面评估面向机器人的视觉表示的统一平台。通过在全部五个问题上进行全面、受控的实验，我们发现 Voltron 的语言驱动表示优于先前的最先进方法，尤其是在需要更高层次特征的针对性问题上。

链接

arXiv 2302.12766: https://arxiv.org/abs/2302.12766
DOI 10.48550/arXiv.2302.12766: https://doi.org/10.48550/arXiv.2302.12766
PDF: https://arxiv.org/pdf/2302.12766v1
代码: https://github.com/siddk/voltron-robotics
项目主页: https://sites.google.com/view/voltron-robotics