Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

作者: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

许可协议

开放获取
论文: CC BY 4.0

以下内容均依据论文全文，按其 CC BY 4.0 许可协议使用；其中的图已注明作者。

一句话总结

KnowNo 将 LLM 规划表述为多项选择并应用共形预测，使机器人只在有不止一个选项保留下来时才求助，并达到用户设定的成功水平。

为何重要

用户设定目标成功水平 1−ϵ，在假设人类帮助准确的前提下，该方法以高概率保证在该水平上完成任务，同时保持平均预测集较小。它可与现成的 LLM 配合使用而无需微调，并且无论 LLM 的置信度是否校准良好，覆盖保证都成立。

问题

LLM 规划器可能会自信地产生幻觉，而自然语言指令常常有歧义，因此遵循错误计划的机器人可能会做出不安全的行为，例如把金属碗放进微波炉。以往的 LLM 规划器要么从不寻求澄清，要么依赖大量提示，而且都没有提供一种方法来确保请求帮助能带来期望的任务成功水平。

提出的方法

LLM 首先生成标记为 A–D 的候选下一步，再追加一个选项“E) 此处未列出的选项”，然后 LLM 通过下一个 token 的概率，把这些选项当作多项选择题来打分。在 400 个 i.i.d. 场景上校准的共形预测设定一个置信度阈值；高于阈值的选项构成预测集，若只剩一个选项，机器人就执行它，否则请人类选择。序列级校准把保证扩展到多步规划，另一项扩展则处理存在多个可接受选项的步骤。

关键见解

把规划表述为多项选择 Q&A 可以消除原始序列概率的长度偏差；在三种仿真歧义设置中，基于原始句子分数或困惑度归一化句子分数的共形预测，都给出了更大的预测集和更多的求助。
当机器人在预测集包含不止一个选项时就请求帮助，共形预测的覆盖保证就转化为任务完成保证。
在整个序列上进行校准，并以每步最低置信度为序列打分，使得在测试时可以逐步构建预测集，同时对完整计划保持保证。
该保证对 LLM 的校准情况不作任何假设：使用对选项 D 和 E 表现出偏向的 GPT-3.5 时，KnowNo 通过触发更多人类帮助仍达到了目标。
集成基线可以在很少求助的情况下达到较高的成功率，但它需要 20× 的推理时间，并且有时会给正确选项分配零概率。

主要结果

在仿真和硬件设置中，KnowNo 都达到了用户指定的任务完成水平，同时与基线相比减少了 10–24% 的人类帮助。
PyBullet 中的仿真桌面重排（ϵ = 0.15）：在属性、数值和空间歧义下，KnowNo 偏离目标成功率最小，并且在某些成功水平上比 Simple Set 少需要最多 24% 的帮助。
UR5 上的硬件多步分拣（ϵ = 0.25，50 次试验）：任务成功率 0.74，集合大小 1.72，逐步求助率 0.58，逐试验求助率 0.92；在相同计划成功率 0.76 下，Simple Set 分别为 0.72、2.04、0.72 和 1.00；No Help 的任务成功率为 0.38。
办公室厨房中的硬件移动操作（ϵ = 0.15）：计划成功率 0.87，任务成功率 0.76，集合大小 2.22，求助率 0.67，而 Simple Set 为 0.75、2.38 和 0.81；No Help 的计划成功率为 0.62，任务成功率为 0.51。
所有指令都有歧义的双臂 Kuka IIWA 7 设置（ϵ = 0.15）：计划成功率 84%，求助率 92%；在硬件上，机器人在 10 次试验中成功 9 次，并求助了 9 次。
在 UR5 任务上将 Simple Set 设为相同的 ϵ = 0.25 会使其过于保守，逐步求助率为 87%。

局限

作者指出：任务完成保证假设环境完全以文本输入的形式提供给 LLM，并且 LLM 提出的动作能够成功执行。
感知和底层策略的不确定性不在校准范围内；在移动机械臂上，底层动作的成功率约为 86%，这导致了计划成功率与任务成功率之间的差距。
该方法需要一个带标注的 i.i.d. 场景校准集（使用了 400 个），且其与测试场景来自相同分布。
该保证假设人类给出准确的帮助，并且当正确选项不在预测集中时机器人会失败。
GPT-3.5（text-davinci-003）在多项选择中表现出强烈的位置偏差，这降低了性能并增加了所需的帮助。

对领域的影响

荣获 CoRL 2023 最佳学生论文奖；被引用 515 次（按给定数字）。官方项目页面链接了 google-research 仓库中的代码，论文则指向项目网站上的提示词。

摘要

大语言模型（LLM）展现出广泛而有前景的能力，从逐步规划到常识推理，这些能力可能对机器人有用，但它们仍然容易做出自信的幻觉预测。在这项工作中，我们提出了 KnowNo，这是一个用于度量和对齐基于 LLM 的规划器不确定性的框架，使它们知道自己何时不知道，并在需要时请求帮助。KnowNo 建立在共形预测理论之上，在复杂的多步规划场景中为任务完成提供统计保证，同时尽量减少人类帮助。在多种仿真和真实机器人设置上进行的实验涉及具有不同歧义模式的任务（例如从空间不确定性到数值不确定性，从人类偏好到 Winograd 模式），结果表明，KnowNo 在提高效率和自主性方面优于现代基线（这些基线可能涉及集成或大量的提示调优），同时还提供形式化保证。KnowNo 可以开箱即用地与 LLM 一起使用，无需对模型进行微调，并提示了一种有前景的轻量级不确定性建模方法，能够补充基础模型不断增长的能力，并随之扩展。网站：https://robot-help.github.io

链接

arXiv 2307.01928: https://arxiv.org/abs/2307.01928
DOI 10.48550/arXiv.2307.01928: https://doi.org/10.48550/arXiv.2307.01928
PDF: https://arxiv.org/pdf/2307.01928v1
代码: https://github.com/google-research/google-research/tree/master/language_model_uncertainty
项目主页: https://robot-help.github.io/