VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

作者: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

LLM 编写 Python 代码，根据视觉-语言检测结果填充 3D 可供性体素地图和避让体素地图；规划器把它们转化为闭环 6-DoF 轨迹，无需额外训练。

为何重要

没有任何组件是针对这些任务训练的：来自语言模型的知识被直接落地到机器人的 3D 观测空间中，并由一个标准规划器使用。由于规划器会根据最新的观测重新规划，执行过程能够容忍扰动，例如目标被移动，或者抽屉在机器人关上后又被拉开。

问题

基于 LLM 的机器人规划器通常调用一个预定义运动基元库，而由于大规模机器人数据稀缺，获取这些技能是一个瓶颈。LLM 也无法以文本形式直接输出高频、高维的控制动作。本文探讨如何在细粒度动作层面使用 LLM 的知识，面向开放集合的指令和物体，而无需逐任务的数据采集或人工设计的基元。

提出的方法

给定一条指令和 RGB-D 观测，GPT-4 生成 Python 代码，调用感知 API（OWL-ViT 检测、Segment Anything 掩码、XMem 跟踪）和 NumPy 运算，填充用于可供性、避让、末端执行器旋转、速度和夹爪状态的 100×100×100 体素地图。一个贪心搜索运动规划器在由加权的可供性地图和避让地图构建的代价地图上寻找无碰撞的末端执行器路径点，执行第一个路径点，并在模型预测控制回路中以 5 Hz 重新规划。对于富接触任务，零样本轨迹用于引导探索，同时在线学习一个 MLP 动力学模型。

关键见解

LLM 不擅长直接输出原始控制动作，但擅长推断可供性和约束，并且能够把它们表达为向 3D 体素地图写入数值的代码。
在联合优化下组合空间价值地图，比由 LLM 为固定基元列表设定参数的方法（Code as Policies 的一个变体）泛化得更好，也比训练来预测代价地图的 U-Net 泛化得更好。
针对富接触任务的零样本轨迹往往是有意义的，但还不够；把它们用作探索先验，可以使学习动力学模型变得切实可行。
在仿真中，VoxPoser 在所比较的方法中规格错误最低；在真实世界中，大多数错误来自感知，例如检测器对物体初始位姿和物体部件的敏感性。

主要结果

真实世界，五个任务，每个任务 10 次试验：静态场景中成功率为 88.0%，有扰动时为 70.0%，而 LLM + 基元分别为 24.0% 和 0.0%。
仿真（13 个任务，2766 条不同指令，每个任务 20 个回合），物体交互 / 空间组合成功率：已见指令和属性下为 64.0% / 77.5%，未见属性下为 60.0% / 58.8%，未见指令和属性下为 65.0% / 76.7%。
在未见指令、未见属性的设置中，基线的成功率为 0.0% / 0.0%（U-Net + 运动规划器）和 17.5% / 25.0%（LLM + 基元）。
富接触的仿真任务：在利用零样本先验进行约 142 s、137 s 和 71 s 的在线交互后，零样本成功率 6.7%（门）、3.3%（窗）和 18.3%（冰箱）分别提升到 88.3%、80.0% 和 91.7%；不使用先验进行探索则超出了 12 小时的上限。
真实设置以 5 Hz 重新规划，同时两台 Azure Kinect 相机以 20 Hz 传输 RGB-D 数据流。

局限

作者指出：VoxPoser 依赖外部感知模块，这限制了需要整体视觉推理或理解细粒度物体几何的任务。
作者指出：仍需要一个通用的动力学模型，才能以同样的泛化水平处理富接触任务；真实的以物体为中心的任务使用了启发式平面推动模型和一个预定义的推动基元。
作者指出：运动规划器只考虑末端执行器轨迹，而全臂规划可能是更好的设计。
作者指出：LLM 提示是手工设计的（每个语言模型程序 5–20 个示例查询）。
对于大多数任务，除了重新规划之外，场景被假设为静态的，并且没有深入研究由 LLM 将指令分解为子任务的问题。

对领域的影响

被引用 735 次（按给定数字）。官方项目页面链接了 VoxPoser 代码仓库，论文则在项目网站上公开了其完整的 LLM 提示。

摘要

研究表明，大语言模型（LLM）蕴含着丰富的可操作知识，可以以推理和规划的形式提取出来用于机器人操作。尽管取得了进展，大多数方法仍依赖预定义的运动基元来完成与环境的物理交互，这仍是一个主要瓶颈。在这项工作中，我们的目标是在给定开放集合的指令和开放集合的物体的情况下，为种类繁多的操作任务合成机器人轨迹，即由 6-DoF 末端执行器路径点组成的稠密序列。为此，我们首先观察到，在给定自由形式的语言指令时，LLM 擅长推断可供性和约束。更重要的是，借助其编写代码的能力，它们可以与视觉-语言模型（VLM）交互，组合出 3D 价值地图，将知识落地到智能体的观测空间中。组合出的价值地图随后被用于一个基于模型的规划框架中，以零样本方式合成对动态扰动具有鲁棒性的闭环机器人轨迹。我们进一步展示了所提出的框架如何通过为涉及丰富接触交互的场景高效学习动力学模型，从在线经验中获益。我们在仿真和真实机器人环境中对所提出的方法进行了大规模研究，展示了其执行以自由形式自然语言指定的多种日常操作任务的能力。视频和代码见 https://voxposer.github.io

链接

arXiv 2307.05973: https://arxiv.org/abs/2307.05973
DOI https://doi.org/10.48550/arxiv.2307.05973: https://doi.org/https://doi.org/10.48550/arxiv.2307.05973
PDF: https://proceedings.mlr.press/v229/huang23b/huang23b.pdf
代码: https://github.com/huangwl18/VoxPoser
项目主页: https://voxposer.github.io/