LIBERO: Benchmarking Knowledge Transfer for Lifelong Robot Learning

作者: Bo Liu, Yifeng Zhu, Chongkai Gao, Yihao Feng, Qiang Liu, Yuke Zhu, Peter Stone · NeurIPS 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

LIBERO 是一个包含 130 个语言条件操作任务及人类演示的仿真基准，用于研究机器人如何在任务之间迁移陈述性知识和程序性知识。

为何重要

由于有三个套件分别隔离了空间、物体和目标知识，性能下降可以追溯到所丢失知识的类型。这些实验还对常见做法提出了挑战：所测试的终身学习算法的前向迁移低于简单的顺序微调，而朴素的监督预训练可能会损害之后的终身学习。

问题

终身学习研究大多在视觉和语言任务中研究陈述性知识（实体和概念）的迁移。机器人决策还需要程序性知识，即知道如何行动；而当智能体在学习新任务后失败时，过去没有办法系统地分析它迁移或遗忘的是哪一类知识。

提出的方法

LIBERO 在 robosuite 之上以程序化方式生成任务：语言模板从 Ego4D 活动标注中提取，PDDL 场景文件指定物体、布局和初始状态，目标是 On(A, B) 或 Open(X) 等谓词的合取。共提供四个套件：LIBERO-Spatial、LIBERO-Object 和 LIBERO-Goal（各 10 个任务，各自隔离一种知识类型）以及 LIBERO-100（90 个短时域任务和 10 个长时域任务），每个任务有 50 条遥操作演示。该研究对三种策略架构（ResNet-RNN、ResNet-T、ViT-T）和五种学习方案（顺序微调、ER、EWC、PackNet 和多任务学习）进行了基准测试，均以行为克隆训练。

关键见解

• 策略架构与终身学习算法同样重要：采用 Transformer 时序骨干的架构（ResNet-T、ViT-T）平均而言远好于 ResNet-RNN。
• 没有一种视觉编码器在所有情况下都最好：使用 ER 时，ResNet-T 在除 LIBERO-Object 之外的所有套件上都优于 ViT-T，作者将此归因于 ViT 能更好地处理更大的物体多样性。
• 三种终身学习算法的前向迁移都低于顺序微调；PackNet 能防止遗忘，但其每个任务的容量不断缩小，导致它在 LIBERO-Long 上表现受损。
• 用 BERT、CLIP 或 GPT-2 编码的语义丰富的任务描述，相比 Task-ID 嵌入没有带来统计上显著的提升。
• 行为克隆损失是一个具有误导性的检查点选择信号；EWC 有时损失最低但成功率并不好，因此应使用成功率。

主要结果

• 使用 ResNet-T 时，顺序微调在每个套件上的前向迁移都最高：0.54（Long）、0.72（Spatial）、0.78（Object）和 0.77（Goal）。
• PackNet 的遗忘最低（负向后向迁移为 0.06–0.17），并且在 Spatial、Object 和 Goal 上的 AUC 最好（0.63、0.60、0.75），但 ER 在 LIBERO-Long 上的 AUC 最好（0.32 对 0.25）。
• EWC 在各终身学习算法中表现最差，在 LIBERO-Long 上 AUC 为 0.02，在 Spatial 和 Goal 上为 0.06。
• 在 LIBERO-Long 上使用 PackNet 时，ViT-T 的 AUC 达到 0.34，而 ResNet-T 为 0.25，ResNet-RNN 为 0.03。
• 在 LIBERO-Long 上（ResNet-T 配 ER），各语言嵌入的前向迁移分别为 0.48（BERT）、0.52（CLIP）、0.46（GPT-2）和 0.50（Task-ID），没有显著差异。
• 结果为三个随机种子的平均值，每个任务在 50 条演示上训练 50 个 epoch，并通过 20 次 rollout 进行评估。

局限

• 作者指出：这些实验只是初步研究，更好地处理空间与时间信息的架构、前向迁移更好的算法，以及有助于终身学习的预训练，仍有待探索。
• 作者指出：由于终身学习器主要从人类身上学习，从长远来看，保护用户隐私可能变得至关重要。
• 结果取决于任务顺序：ER 和 PackNet 的性能在五种顺序之间有所变化，并且 PackNet 的差异在统计上显著。
• 所有任务都在 robosuite 的仿真中运行；论文没有报告真实机器人实验。
• 只对基于演示的行为克隆进行了基准测试；由于稀疏奖励的困难，强化学习被搁置。

对领域的影响

被引用 607 次（按给定数字）。论文发布了程序化任务生成流程、总计 130 个任务的四个任务套件以及每个任务的人类遥操作演示，代码和数据集可从项目网站获取。

摘要

终身学习为构建一个在整个生命周期中不断学习和适应的通用智能体提供了一个有前景的范式。传统的图像和文本领域中的终身学习问题主要涉及关于实体和概念的陈述性知识的迁移，与之不同，决策中的终身学习（LLDM）还需要迁移程序性知识，例如动作和行为。为了推进 LLDM 研究，我们推出了 LIBERO，一个新颖的机器人操作终身学习基准。具体而言，LIBERO 突出了 LLDM 中的五个关键研究课题：1) 如何高效迁移陈述性知识、程序性知识或两者的混合；2) 如何设计有效的策略架构，以及 3) 有效的 LLDM 算法；4) 终身学习器相对于任务顺序的鲁棒性；以及 5) 模型预训练对 LLDM 的影响。我们开发了一个可扩展的程序化生成流程，原则上可以生成无限多的任务。出于基准测试的目的，我们创建了四个任务套件（共 130 个任务），用于研究上述研究课题。为了支持样本高效的学习，我们为所有任务提供了高质量的人类遥操作演示数据。我们的大量实验给出了若干富有洞见甚至出人意料的发现：顺序微调在前向迁移上优于现有的终身学习方法，没有任何一种视觉编码器架构在所有类型的知识迁移上都表现出色，而朴素的监督预训练可能会妨碍智能体在随后 LLDM 中的表现。代码和数据集请访问网站 https://libero-project.github.io。

链接

• arXiv 2306.03310: https://arxiv.org/abs/2306.03310
• DOI https://doi.org/10.52202/075280-1939: https://doi.org/https://doi.org/10.52202/075280-1939
• PDF: https://arxiv.org/pdf/2306.03310v1
• 代码: https://github.com/Lifelong-Robot-Learning/LIBERO
• 项目主页: https://libero-project.github.io/