LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

作者: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

许可协议

• 开放获取
• 论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

GPT-3 借助检索到的样例和基于物体接地的重新规划，仅用 100 个标注样例就为 ALFRED 编写高层规划，接近用 21,023 个样例训练的 HLSM。

为何重要

该规划器只要求宿主智能体提供物体列表和一个底层规划器，并且不需要参数更新，因此可以接入现有的分层智能体。接地信息来自预训练的物体检测器，而非真值场景信息；语言模型中的常识取代了高层规划器通常所需的大部分配对语言数据。

问题

具身指令跟随智能体从大量配对的（指令，轨迹）数据中学习，例如每种任务类型数千个 ALFRED 样例，收集成本很高。在分层智能体中，只有高层规划器需要与语言配对的数据，但它仍然需要大量此类数据：用 100 个样例重新训练后，HLSM 和 FILM 的规划器几乎无法完成任何任务。

提出的方法

LLM-Planner 提示 GPT-3 编写高层规划，即一系列子目标，例如“Navigation fridge, OpenObject fridge”；它使用 9 个上下文示例，这些示例由一个基于 BERT 嵌入的最近邻检索器从 100 个训练对中选出，并通过 logit 偏置将输出引导到允许的动作和物体上。当某个子目标失败或耗费的步数过多时，它会用已完成的子目标以及智能体检测器已看到的物体重新提示模型，再由 HLSM 的底层规划器将每个子目标转换为基本动作。

关键见解

• 只有高层规划器需要与语言配对的数据；底层规划器可以用在模拟器中合成的数据训练，因此少样本学习只针对规划器。
• 上下文示例的动态检索最为重要：将 kNN 检索器替换为随机选择，会使 LOOCV 高层规划准确率从 40.59% 降至 17.48%。
• 将观察到的物体加入提示中，可以让语言模型把名称映射到场景中实际存在的物体（recycle bin 对应 garbage can，lamp 对应 desk lamp），并猜测物体可能所在的位置（土豆在冰箱里，杯子在橱柜里）。
• 提示格式和超参数是在同样 100 个样例上通过留一交叉验证选定的，没有单独的验证集（真正的少样本设置）。
• 端到端的失败往往来自底层模块而不是规划：Heat & Place 的规划准确率达到 36%，但成功率只有 1.8%，因为 HLSM 的检测器经常漏检微波炉。

主要结果

• 在给出目标和逐步指令的情况下，LLM-Planner + HLSM 使用 100 个训练对，在 ALFRED valid unseen 上达到 15.36% 的成功率，在 test unseen 上达到 16.42%。
• 用同样的 100 个训练对重新训练后，HLSM 和 FILM 在 valid unseen 上的成功率为 0.00%，在 test unseen 上分别为 0.61% 和 0.20%。
• 用全部 21,023 个训练对训练的 HLSM（仅目标指令）在 valid unseen 上得分 18.28%，在 test unseen 上得分 20.27%；在 test unseen 上，LLM-Planner 的 16.42% 高于使用完整数据的 E.T.（8.57%）、HiTUT（13.87%）和 M-TRACK（16.29%）。
• 接地的重新规划在每种设置下都优于静态规划；仅使用目标指令时，它在 test unseen 上将成功率提高了 1.83 个百分点（从 11.58% 到 13.41%）。
• LOOCV 规划准确率的消融：完整模型 40.59%，去掉 kNN 检索器 17.48%，去掉 logit 偏置 38.10%，两者都去掉 13.43%。
• 规划准确率随训练样例增加而提高，在 250 个左右时收益递减；9 个上下文示例通常是不错的选择。

局限

• 作者指出仍有很大的改进空间；端到端成功率仍远低于最好的完整数据方法，例如 FILM 在 test unseen 上的成功率为 27.80%。
• 成功率受限于 HLSM 的底层规划器和物体检测器，LLM-Planner 原样复用了它们。
• 由于没有可用的 oracle 底层控制器，动态设置下的规划准确率只能以范围给出（例如在 valid unseen 上为 46.59–68.31%）。
• 仅在仿真中评估（基于 AI2-THOR 的 ALFRED）；没有实体机器人实验。
• 依赖 GPT-3 API；Codex 等其他语言模型、更好的提示设计以及更强的接地和重新规划留待未来工作。

对领域的影响

该论文被引用 583 次。在采用该许可的版本中，它未发布代码或数据；它复用了公开的 GPT-3 API 以及官方的 HLSM 和 FILM 代码库。

摘要

本研究关注能够遵循自然语言指令、在视觉感知的环境中完成复杂任务的具身智能体。现有方法依赖大量的（指令，标准轨迹）对来学习良好的策略。高昂的数据成本和较差的样本效率阻碍了能够完成多种任务并能快速学习新任务的通用智能体的发展。在这项工作中，我们提出了一种新方法 LLM-Planner，它利用 GPT-3 等大语言模型（LLM）的能力，为具身智能体进行少样本规划。我们进一步提出了一种简单而有效的方法，通过物理接地来增强 LLM，以生成基于当前环境的规划。在 ALFRED 数据集上的实验表明，我们的方法能够取得非常有竞争力的少样本性能，尽管使用的配对训练数据不到 0.5%，甚至优于若干使用完整训练数据训练的最新基线。在相同的少样本设置下，现有方法几乎无法成功完成任何任务。我们的工作为开发能够快速学习多种任务的通用且样本高效的具身智能体打开了大门。

链接

• arXiv 2212.04088: https://arxiv.org/abs/2212.04088
• DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
• PDF: https://arxiv.org/pdf/2212.04088v1