LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models

作者: Chan Hee Song, Jiaman Wu, Clayton Washington, Brian M. Sadler, Wei-Lun Chao, Yu Su · ICCV 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

GPT-3 搭配檢索到的範例與以物體為依據的重新規劃，只用 100 個標註範例就為 ALFRED 寫出高階規劃，接近以 21,023 個範例訓練的 HLSM。

為何重要

這個規劃器只需要宿主代理人提供物體清單與一個低階規劃器，也不需要更新參數，因此可以接到現有的階層式代理人上。接地資訊來自預先訓練的物體偵測器，而不是真值場景資訊；語言模型中的常識取代了高階規劃器通常需要的大部分配對語言資料。

問題

具身指令遵循代理人從大量配對的（指令，軌跡）資料中學習，例如每種任務類型數千個 ALFRED 範例，蒐集成本很高。在階層式代理人中，只有高階規劃器需要與語言配對的資料，但它仍然需要很多：以 100 個範例重新訓練後，HLSM 與 FILM 的規劃器幾乎無法完成任何任務。

提出的方法

LLM-Planner 提示 GPT-3 寫出高階規劃，也就是一連串子目標，例如「Navigation fridge, OpenObject fridge」；它使用 9 個上下文範例，這些範例由一個以 BERT 嵌入為基礎的最近鄰檢索器從 100 個訓練配對中選出，並以 logit 偏置把輸出導向允許的動作與物體。當某個子目標失敗或花了太多步時，它會用已完成的子目標與代理人偵測器已看到的物體重新提示模型，再由 HLSM 的低階規劃器把每個子目標轉換成基本動作。

關鍵見解

只有高階規劃器需要與語言配對的資料；低階規劃器可以用在模擬器中合成的資料訓練，因此少樣本學習只針對規劃器。
上下文範例的動態檢索最為關鍵：把 kNN 檢索器換成隨機選擇，會讓 LOOCV 高階規劃準確率從 40.59% 降到 17.48%。
把觀察到的物體加進提示中，能讓語言模型把名稱對應到場景中實際存在的東西（recycle bin 對應 garbage can，lamp 對應 desk lamp），並推測物體可能的位置（馬鈴薯在冰箱裡，杯子在櫥櫃裡）。
提示格式與超參數是在同樣 100 個範例上以留一交叉驗證選定的，沒有另外的驗證集（真正的少樣本設定）。
端對端的失敗常常來自低階模組而不是規劃：Heat & Place 的規劃準確率達到 36%，成功率卻只有 1.8%，因為 HLSM 的偵測器經常漏掉微波爐。

主要結果

在提供目標與逐步指令的情況下，LLM-Planner + HLSM 使用 100 個訓練配對，在 ALFRED valid unseen 上達到 15.36% 的成功率，在 test unseen 上達到 16.42%。
以同樣 100 個配對重新訓練後，HLSM 與 FILM 在 valid unseen 上的成功率為 0.00%，在 test unseen 上分別為 0.61% 與 0.20%。
以全部 21,023 個配對訓練的 HLSM（僅目標指令）在 valid unseen 上得分 18.28%，在 test unseen 上得分 20.27%；在 test unseen 上，LLM-Planner 的 16.42% 高於使用完整資料的 E.T.（8.57%）、HiTUT（13.87%）與 M-TRACK（16.29%）。
接地的重新規劃在每種設定下都勝過靜態規劃；只用目標指令時，它在 test unseen 上讓成功率增加 1.83 個百分點（從 11.58% 到 13.41%）。
LOOCV 規劃準確率的消融：完整模型 40.59%，去掉 kNN 檢索器 17.48%，去掉 logit 偏置 38.10%，兩者都去掉 13.43%。
規劃準確率隨訓練範例增加而提高，在 250 個左右出現報酬遞減；9 個上下文範例通常是不錯的選擇。

限制

作者指出仍有很大的改進空間；端對端成功率仍遠低於最好的完整資料方法，例如 FILM 在 test unseen 上的成功率為 27.80%。
成功率受限於 HLSM 的低階規劃器與物體偵測器，LLM-Planner 原封不動地沿用它們。
由於沒有可用的 oracle 低階控制器，動態設定下的規劃準確率只能以範圍表示（例如在 valid unseen 上為 46.59–68.31%）。
只在模擬中評估（以 AI2-THOR 為基礎的 ALFRED）；沒有實體機器人實驗。
仰賴 GPT-3 API；Codex 等其他語言模型、更好的提示設計，以及更強的接地與重新規劃，都留待未來研究。

對領域的影響

這篇論文被引用 583 次。在採用此授權的版本中，它沒有釋出程式碼或資料；它沿用了公開的 GPT-3 API，以及官方的 HLSM 與 FILM 程式碼庫。

摘要

本研究聚焦於能遵循自然語言指令、在以視覺感知的環境中完成複雜任務的具身代理人。現有方法仰賴大量的（指令，標準軌跡）配對來學習良好的策略。高昂的資料成本與不佳的樣本效率，阻礙了能勝任多種任務並能快速學習新任務的通用代理人的發展。在這項研究中，我們提出一種新方法 LLM-Planner，運用 GPT-3 等大型語言模型（LLM）的能力，為具身代理人進行少樣本規劃。我們進一步提出一種簡單而有效的方式，以物理接地來強化 LLM，產生以目前環境為依據的規劃。在 ALFRED 資料集上的實驗顯示，我們的方法能達到非常有競爭力的少樣本效能，儘管只使用不到 0.5% 的配對訓練資料，甚至勝過數個以完整訓練資料訓練的近期基準方法。在相同的少樣本設定下，現有方法幾乎無法成功完成任何任務。我們的研究為開發能快速學習多種任務、通用且樣本效率高的具身代理人開啟了大門。

連結

arXiv 2212.04088: https://arxiv.org/abs/2212.04088
DOI https://doi.org/10.1109/iccv51070.2023.00280: https://doi.org/https://doi.org/10.1109/iccv51070.2023.00280
PDF: https://arxiv.org/pdf/2212.04088v1