Code as Policies: Language Model Programs for Embodied Control
作者: Jacky Liang, Wenlong Huang, Fei Xia, Peng Xu, Karol Hausman, Brian Ichter, Pete Florence, Andy Zeng · ICRA 2023
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
為何重要
它證明,經訓練來撰寫程式碼的語言模型,可以改用來根據自然語言指令撰寫機器人策略程式碼,產生能進行空間推理、並能泛化到新指令的策略。
提出的方法
以少樣本提示的方式,提供撰寫程式碼的語言模型一些範例語言指令(寫成註解)以及對應的策略程式碼;面對新的指令,它會把 API 呼叫重新組合成新的策略程式碼,處理感知輸出並設定控制基元的參數,過程中會用到邏輯結構以及 NumPy 與 Shapely 等函式庫。此方法的核心是階層式程式碼生成:遞迴地定義尚未定義的函式,因此能撰寫更複雜的程式碼。
摘要
以程式碼補全訓練的大型語言模型(LLM)已被證明能根據 docstring 合成簡單的 Python 程式。我們發現,這些會寫程式的 LLM 可以被重新用來在給定自然語言指令時撰寫機器人策略程式碼。具體而言,策略程式碼可以表達處理感知輸出、並為控制基元 API 設定參數的函式或回饋迴路。當輸入中提供數個範例語言指令及其對應的策略程式碼時,LLM 能接收新的指令,並自主重新組合 API 呼叫,以產生新的策略程式碼。透過串接經典的邏輯結構並引用第三方函式庫來進行算術運算,以這種方式使用的 LLM 能撰寫出展現空間幾何推理、能泛化到新指令,並能依情境為模糊描述指定精確數值的機器人策略。
連結
- arXiv 2209.07753: https://arxiv.org/abs/2209.07753
- PDF: https://arxiv.org/pdf/2209.07753
- 程式碼: https://github.com/google-research/google-research/tree/master/code_as_policies
- 專案頁面: https://code-as-policies.github.io/