Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners

作者: Allen Z. Ren, Anushri Dixit, Alexandra Bodrova, Sumeet Singh, Stephen Tu, Noah Brown, Peng Xu, Leila Takayama, Fei Xia, Jake Varley, Zhenjia Xu, Dorsa Sadigh, Andy Zeng, Anirudha Majumdar · CoRL 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

KnowNo 將 LLM 規劃轉為選擇題並套用共形預測，讓機器人只在保留下來的選項超過一個時才求助，並達到使用者設定的成功水準。

為何重要

使用者設定目標成功水準 1−ϵ，在假設人類協助正確的前提下，此方法能以高機率保證在該水準完成任務，同時讓平均預測集合維持在小規模。它能搭配市售的 LLM 使用而不需微調，而且不論 LLM 的信心值是否校準良好，涵蓋保證都成立。

問題

LLM 規劃器可能自信滿滿地產生幻覺，而自然語言指令又常有歧義，因此遵循錯誤計畫的機器人可能做出不安全的行為，例如把金屬碗放進微波爐。先前的 LLM 規劃器不是從不尋求釐清，就是仰賴大量提示，而且都沒有提供方法來確保尋求協助能帶來預期的任務成功水準。

提出的方法

LLM 先產生標記為 A–D 的候選下一步，再附加一個選項「E) 此處未列出的選項」，接著 LLM 透過下一個 token 的機率，把這些選項當作選擇題來評分。在 400 個 i.i.d. 情境上校準的共形預測會設定一個信心門檻；高於門檻的選項構成預測集合，若只剩一個選項，機器人便執行它，否則請人類選擇。序列層級的校準將保證擴展到多步驟規劃，另一項擴展則處理有多個可接受選項的步驟。

關鍵見解

把規劃轉為選擇題形式的 Q&A，可消除原始序列機率的長度偏差；在三種模擬歧義設定中，以原始句子分數或依困惑度正規化的句子分數進行共形預測，都產生了較大的預測集合與較多的求助。
當機器人在預測集合包含超過一個選項時就尋求協助，共形預測的涵蓋保證便轉化為任務完成保證。
以整段序列進行校準、並以每一步中最低的信心值為序列評分，讓測試時可以逐步建立預測集合，同時對完整計畫維持保證。
此保證不對 LLM 的校準做任何假設：使用對選項 D 與 E 有偏好的 GPT-3.5 時，KnowNo 藉由觸發更多人類協助，仍然達到了目標。
集成式基準方法能以很少的求助達到高成功率，但需要 20× 的推論時間，而且有時會給正確選項零機率。

主要結果

在模擬與硬體設定中，KnowNo 都達到使用者指定的任務完成水準，並且相較於基準方法減少了 10–24% 的人類協助。
PyBullet 中的模擬桌面重新擺放（ϵ = 0.15）：在屬性、數值與空間歧義下，KnowNo 偏離目標成功率最少，且在某些成功水準下比 Simple Set 少需要最多 24% 的協助。
UR5 上的硬體多步驟分類（ϵ = 0.25，50 次試驗）：任務成功率 0.74、集合大小 1.72、逐步求助率 0.58、逐次試驗求助率 0.92；在相同的計畫成功率 0.76 下，Simple Set 分別為 0.72、2.04、0.72 與 1.00；No Help 的任務成功率為 0.38。
辦公室廚房中的硬體移動操作（ϵ = 0.15）：計畫成功率 0.87、任務成功率 0.76、集合大小 2.22、求助率 0.67，Simple Set 則為 0.75、2.38 與 0.81；No Help 的計畫成功率為 0.62，任務成功率為 0.51。
所有指令都有歧義的雙臂 Kuka IIWA 7 設定（ϵ = 0.15）：計畫成功率 84%，求助率 92%；在硬體上，機器人在 10 次試驗中成功 9 次，並求助了 9 次。
在 UR5 任務上將 Simple Set 設為相同的 ϵ = 0.25，會讓它過於保守，逐步求助率達 87%。

限制

作者指出：任務完成保證假設環境完全以文字輸入的形式呈現給 LLM，且 LLM 提出的動作能成功執行。
感知與低階策略的不確定性不在校準範圍內；在移動機械手臂上，低階動作的成功率約為 86%，造成計畫成功率與任務成功率之間的落差。
此方法需要一個由 i.i.d. 情境組成、經過標註的校準集合（使用了 400 個），且須與測試情境來自相同分布。
此保證假設人類提供正確的協助，而當正確選項不在預測集合中時，機器人就會失敗。
GPT-3.5（text-davinci-003）在選擇題中顯示出強烈的位置偏差，這降低了效能並增加所需的協助。

對領域的影響

榮獲 CoRL 2023 最佳學生論文獎；被引用 515 次（依所給數字）。官方專案頁面連結了 google-research 儲存庫中的程式碼，論文則指引讀者至專案網站上的提示詞。

摘要

大型語言模型（LLM）展現了廣泛且深具潛力的能力，從逐步規劃到常識推理，這些能力或許對機器人有用，但它們仍容易做出充滿自信的幻覺預測。在這項工作中，我們提出 KnowNo，一個用來衡量並對齊以 LLM 為基礎之規劃器不確定性的框架，讓它們知道自己何時不知道，並在需要時尋求協助。KnowNo 建立在共形預測理論之上，在複雜的多步驟規劃情境中，為任務完成提供統計保證，同時將人類協助減到最少。在多種模擬與實體機器人設定上進行的實驗，涵蓋具有不同歧義模式的任務（例如從空間到數值的不確定性，從人類偏好到 Winograd 模式），結果顯示 KnowNo 在提升效率與自主性方面優於現代的基準方法（這些方法可能涉及集成或大量的提示調整），同時提供形式化的保證。KnowNo 可以直接搭配 LLM 使用，不需微調模型，並提示了一種深具潛力的輕量化不確定性建模方法，能補足基礎模型日益增長的能力，並隨之擴展。網站：https://robot-help.github.io

連結

arXiv 2307.01928: https://arxiv.org/abs/2307.01928
DOI 10.48550/arXiv.2307.01928: https://doi.org/10.48550/arXiv.2307.01928
PDF: https://arxiv.org/pdf/2307.01928v1
程式碼: https://github.com/google-research/google-research/tree/master/language_model_uncertainty
專案頁面: https://robot-help.github.io/