VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models

作者: Wenlong Huang, Chen Wang, Ruohan Zhang, Yunzhu Li, Jiajun Wu, Li Fei-Fei · CoRL 2023

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

LLM 撰寫 Python 程式，根據視覺語言偵測結果填入 3D 可供性與迴避體素地圖；規劃器再把它們轉成閉迴路 6-DoF 軌跡，無需額外訓練。

為何重要

沒有任何元件是針對這些任務訓練的：來自語言模型的知識直接落實到機器人的 3D 觀測空間中，並由一個標準規劃器使用。由於規劃器會依據最新的觀測重新規劃，執行時能容忍干擾，例如目標被移動，或抽屜在機器人關上後又被拉開。

問題

以 LLM 為基礎的機器人規劃器通常會呼叫一個預先定義的運動基元庫，而由於大規模機器人資料稀少，取得這些技能是一個瓶頸。LLM 也無法以文字直接輸出高頻、高維度的控制動作。本文探討如何在細粒度動作的層級使用 LLM 的知識，面對開放集合的指令與物體，而不需要逐任務收集資料或人工設計的基元。

提出的方法

給定一條指令與 RGB-D 觀測，GPT-4 產生 Python 程式碼，呼叫感知 API（OWL-ViT 偵測、Segment Anything 遮罩、XMem 追蹤）與 NumPy 運算，填入用於可供性、迴避、末端執行器旋轉、速度與夾爪狀態的 100×100×100 體素地圖。一個貪婪搜尋運動規劃器在由加權可供性地圖與迴避地圖建構的成本地圖上，尋找無碰撞的末端執行器路徑點，執行第一個路徑點，並在模型預測控制迴路中以 5 Hz 重新規劃。對於接觸密集的任務，零樣本軌跡用來引導探索，同時線上學習一個 MLP 動力學模型。

關鍵見解

LLM 不擅長輸出原始控制動作，卻擅長推論可供性與約束，並能把它們表達為把數值寫入 3D 體素地圖的程式碼。
在聯合最佳化下組合空間價值地圖，泛化能力優於由 LLM 為固定基元清單設定參數的做法（Code as Policies 的一個變體），也優於訓練來預測成本地圖的 U-Net。
針對接觸密集任務的零樣本軌跡往往有意義但仍不足；把它們當作探索先驗，就能讓學習動力學模型變得可行。
在模擬中，VoxPoser 在比較的方法中規格錯誤最低；在真實世界中，大多數錯誤來自感知，例如偵測器對物體初始姿態與物體部件的敏感度。

主要結果

真實世界，五個任務、每個任務 10 次試驗：靜態場景中成功率為 88.0%，有干擾時為 70.0%，LLM + 基元則為 24.0% 與 0.0%。
模擬（13 個任務、2766 條不重複的指令、每個任務 20 個回合），物體互動 / 空間組合的成功率：已見過的指令與屬性下為 64.0% / 77.5%，未見過的屬性下為 60.0% / 58.8%，未見過的指令與屬性下為 65.0% / 76.7%。
在未見過的指令與屬性設定中，基準方法的成功率為 0.0% / 0.0%（U-Net + 運動規劃器）與 17.5% / 25.0%（LLM + 基元）。
接觸密集的模擬任務：以零樣本先驗進行約 142 s、137 s 與 71 s 的線上互動後，零樣本成功率 6.7%（門）、3.3%（窗）與 18.3%（冰箱）分別提升至 88.3%、80.0% 與 91.7%；不使用先驗進行探索則超過了 12 小時的上限。
實體設定以 5 Hz 重新規劃，同時兩台 Azure Kinect 攝影機以 20 Hz 串流 RGB-D 影像。

限制

作者指出：VoxPoser 仰賴外部感知模組，這限制了需要整體視覺推理或理解細粒度物體幾何的任務。
作者指出：仍需要一個通用的動力學模型，才能以相同的泛化程度處理接觸密集的任務；真實的以物體為中心的任務使用了啟發式的平面推動模型與一個預先定義的推動基元。
作者指出：運動規劃器只考慮末端執行器軌跡，而全手臂規劃可能是更好的設計。
作者指出：LLM 提示是人工設計的（每個語言模型程式 5–20 個範例查詢）。
對於大多數任務，除了重新規劃之外，場景都被假設為靜態，而由 LLM 將指令分解為子任務的部分也未深入研究。

對領域的影響

被引用 735 次（依所給數字）。官方專案頁面連結了 VoxPoser 程式碼儲存庫，論文則在專案網站上公開其完整的 LLM 提示。

摘要

研究顯示，大型語言模型（LLM）蘊含豐富的可行動知識，能以推理與規劃的形式擷取出來用於機器人操作。儘管已有進展，大多數方法仍仰賴預先定義的運動基元來執行與環境的實體互動，這仍是一大瓶頸。在這項工作中，我們的目標是在給定開放集合的指令與開放集合的物體下，為各式各樣的操作任務合成機器人軌跡，也就是由 6-DoF 末端執行器路徑點構成的稠密序列。為此，我們首先觀察到，在給定自由形式的語言指令時，LLM 擅長推論可供性與約束。更重要的是，藉由其撰寫程式碼的能力，它們能與視覺語言模型（VLM）互動，組合出 3D 價值地圖，將知識落實到代理人的觀測空間中。組合出的價值地圖接著被用於一個以模型為基礎的規劃框架，以零樣本方式合成對動態擾動具穩健性的閉迴路機器人軌跡。我們進一步展示，所提出的框架如何藉由為涉及大量接觸互動的場景有效率地學習動力學模型，從線上經驗中獲益。我們在模擬與實體機器人環境中對所提出的方法進行大規模研究，展示其執行以自由形式自然語言指定之各種日常操作任務的能力。影片與程式碼請見 https://voxposer.github.io

連結

arXiv 2307.05973: https://arxiv.org/abs/2307.05973
DOI https://doi.org/10.48550/arxiv.2307.05973: https://doi.org/https://doi.org/10.48550/arxiv.2307.05973
PDF: https://proceedings.mlr.press/v229/huang23b/huang23b.pdf
程式碼: https://github.com/huangwl18/VoxPoser
專案頁面: https://voxposer.github.io/