Instant Policy: In-Context Imitation Learning via Graph Diffusion
作者: Vitalis Vosylius, Edward Johns · ICLR 2025
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。
一句話摘要
Instant Policy 只需一兩次示範就能學會新的機器人任務,無需進一步訓練。它把情境內模仿視為以擴散進行的圖生成,並以模擬中產生的偽示範訓練。
為何重要
現今的行為複製方法,每個新任務都需要數百甚至數千次示範與數小時訓練。Instant Policy 只需一兩次示範,測試時無需訓練。它的訓練資料在模擬中產生,因此不受昂貴的人工蒐集機器人資料所限。在真實的 Sawyer 機器人上,它在 16 項日常任務中各用兩次示範,平均成功率為 88.75%。
問題
行為複製仍需要每個任務數百甚至數千次示範與數小時訓練。情境內學習可以省去這一步,但在語言與視覺領域,它仰賴機器人領域所沒有的龐大資料集。論文指出兩項挑戰:為從有限資料進行 3D 學習找到合適的歸納偏置,以及找到大規模蒐集訓練資料的方法。
提出的方法
示範、目前的點雲觀測與未來的機器人動作被連接成一張異質圖。場景節點帶有來自預訓練編碼器的局部幾何特徵;六個夾爪節點帶有末端執行器位姿與夾爪狀態。一個圖 Transformer 學習只對動作節點去噪的擴散過程,由此得到末端執行器的移動與開合指令。模型以偽示範訓練:圍繞 ShapeNet 物體、隨機但一致的軌跡,可在模擬中無限產生。測試時,示範作為情境提供,模型權重不變。
關鍵見解
- 由於情境內模型不把任務策略儲存在權重中,它可以用「任意但一致」的模擬軌跡(偽示範)而非真實任務資料來訓練。
- 設計選擇在模擬中影響很大:拿掉擴散、直接迴歸動作會使成功率下降 29%;以平移加四元數取代解耦的平移與旋轉會下降 37%。
- 示範必須夠密集才能呈現如何完成任務:只給出最終目標(示範長度為 1)會使成功率下降 71%;只有物體位姿改變時,兩次以上的示範幫助不大。
- 隨著訓練增加與模型變大,驗證損失持續下降;在未見過的 RLBench 任務上,成功率從 69M 到 117M 參數明顯上升,到 178M 時只略有提升,作者認為這表示需要更多樣的資料。
- 對新物體形狀的泛化是湧現出來的:模型從未在情境中以不同的物體幾何形狀訓練,但隨著提供的示範更多樣,表現會提升。
主要結果
- 在模擬中(RLBench,Franka Emika Panda,24 個任務,每個 100 次試行),只以偽示範訓練的 Instant Policy 平均成功率為 0.71,而 BC-Z 為 0.36、Vid2Robot 為 0.38、GPT2* 為 0.34(這些基線已改用點雲)。
- 在模擬中,為 12 個 RLBench 任務各加入 20 次示範後,它在這 12 個任務上平均為 0.97,在另外 12 個未見過的任務上為 0.82;最好的基線分別達到 0.65 (GPT2) 與 0.43 (BC-Z)。
- 在配有 Robotiq 2F-85 夾爪的真實 Sawyer 機器人上,於 16 項日常任務中各試行 10 次,平均成功率為 88.75%,而 BC-Z 為 34.38%、Vid2Robot 為 40.63%、GPT2* 為 36.88%。
- 在真實機器人上,對訓練與示範中都未見過的物體(4 個任務),成功率隨示範次數增加而上升:1 次時 40%,2 次時 52.5%,3 次時 85%,4 次時 90%。
- 在定性的真實世界測試中,它把人手示範轉移到機器人上,在取放等簡單任務上的成功率與動覺教學相近,並且僅憑語言指令就完成了任務。
限制
- 它假設可以取得分割好的點雲。
- 點雲不帶有顏色或其他語意資訊。
- 它針對的是馬可夫假設成立、時間跨度較短的任務。
- 它對測試時提供的示範品質與降取樣很敏感。
- 它不處理避碰,也不控制手臂的完整構型空間。
- 對於公差極小或接觸動力學複雜的任務,它的精度不足。
對領域的影響
作者把情境內模仿定位為行為複製的「一種引人注目的替代典範」,而行為複製每個任務需要數百甚至數千次示範。他們的擴展結果顯示,效能主要受限於算力以及模擬偽示範的多樣性。程式碼與影片已在 robot-learning.uk/instant-policy 公開。
摘要
我們提出 Instant Policy,第一個情境內模仿學習(ICIL)方法,只需一或兩次示範就能即時(無需進一步訓練)學會新任務。不同於直接以示範為條件的現有方法,Instant Policy 採用兩階段流程:我們先將 ICIL 表述為圖生成問題以引入歸納偏置,再以學習而得的擴散過程對這個問題建模。我們的關鍵洞見是:傳統模仿學習方法需要大量示範才能為單一任務訓練出策略,而單一 ICIL 模型卻可以用任意的偽示範(在模擬中產生的隨機軌跡)來訓練,從而獲得即時從示範中學習的能力。在實驗中,我們顯示 Instant Policy 能快速學會各種日常機器人任務,並可作為跨形態遷移,以及零樣本遷移到以語言定義之任務的基礎。
連結
- arXiv 2411.12633: https://arxiv.org/abs/2411.12633
- DOI 10.48550/arXiv.2411.12633: https://doi.org/10.48550/arXiv.2411.12633
- PDF: https://arxiv.org/pdf/2411.12633.pdf
- 程式碼: https://github.com/vv19/instant_policy
- 專案頁面: https://www.robot-learning.uk/instant-policy