Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
作者: Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, Shuran Song · RSS 2023
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
為何重要
它提出一種產生機器人行為的新方式,把策略當作擴散過程來處理,並指出在 4 個基準測試共 12 項任務中,其表現平均比現有最先進的機器人學習方法高出 46.9%。作者希望它能帶動以擴散模型為基礎的新一代策略學習方法。
提出的方法
機器人的視覺運動策略以條件式去雜訊擴散過程來表示。策略學習動作分布之分數函數的梯度,並在推論時透過一連串隨機的 Langevin 動力學步驟,沿著該梯度逐步修正動作。
摘要
本文提出 Diffusion Policy,一種生成機器人行為的新方式:將機器人的視覺運動策略表示為條件式去噪擴散過程。我們在 4 個不同的機器人操作基準測試、共 12 項不同任務上評測 Diffusion Policy,發現它持續勝過現有最先進的機器人學習方法,平均提升 46.9%。Diffusion Policy 學習動作分布分數函數的梯度,並在推論時透過一系列隨機 Langevin 動力學步驟,依據這個梯度場進行迭代最佳化。我們發現,擴散形式用於機器人策略時帶來強大的優勢,包括從容處理多峰動作分布、適用於高維動作空間,以及展現出色的訓練穩定性。為了在實體機器人上完全發揮擴散模型在視覺運動策略學習上的潛力,本文提出一組關鍵技術貢獻,包括引入滾動時域控制、視覺條件化,以及時間序列擴散 Transformer。我們希望這項工作能推動新一代的策略學習技術,善用擴散模型強大的生成建模能力。程式碼、資料與訓練細節皆已公開。
連結
- arXiv 2303.04137: https://arxiv.org/abs/2303.04137
- PDF: https://arxiv.org/pdf/2303.04137.pdf
- 程式碼: https://github.com/real-stanford/diffusion_policy
- 專案頁面: https://diffusion-policy.cs.columbia.edu/