PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators
作者: Kuo-Hao Zeng, Zichen Zhang, Kiana Ehsani, Rose Hendrix, Jordi Salvador, Alvaro Herrasti, Ross Girshick, Aniruddha Kembhavi, Luca Weihs · CoRL 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。
一句話摘要
以 DINOv2 + 因果 Transformer 搭配同策略強化學習訓練的僅 RGB 室內導航代理,在 CHORES-S 上達到 85.5% 的成功率(提升 28.5%),並在 LoCoBot 與 Stretch 機器人上實現零樣本模擬到現實遷移。
為何重要
PoliFormer 證明,打造強大具身 AI 代理的方法很直接:結合強大的預訓練視覺編碼器與以 Transformer 為基礎的策略,並以大規模的同策略強化學習進行訓練。對於開發導航產品的機器人公司而言,這顯示模擬到現實遷移能可靠地運作,而不需要昂貴的真實世界資料蒐集或領域適應。使用現成的視覺基礎模型作為凍結編碼器的做法,可能可以從導航推廣到操作與其他機器人任務。
問題
室內機器人導航仍然充滿挑戰,因為代理必須處理原始的視覺觀測、在長時域中維持空間記憶,並泛化到新的環境。目前的方法不是以人工設計的特徵搭配傳統規劃(對外觀變化很脆弱),就是以有限的訓練規模進行端對端學習。沒有任何現有方法能僅從 RGB 輸入,以真正的模擬到現實遷移實現可靠的物件目標導航。
提出的方法
PoliFormer 結合凍結的 DINOv2 視覺編碼器(提供穩健、可泛化的視覺特徵)與因果 Transformer 解碼器(提供時間記憶),在 150K 間程序化生成的 ProcTHOR 房屋中,以同策略強化學習(DD-PPO)進行端對端訓練。龐大的訓練規模與多樣的環境,產生出不需要模擬到現實領域適應就能泛化的策略。
關鍵見解
- 大規模(數億次互動)的同策略強化學習產生的導航策略,遠遠超越模仿學習方法
- 凍結的 DINOv2 編碼器提供穩健的視覺特徵,不需要領域適應就能實現零樣本模擬到現實遷移
- 因果 Transformer 解碼器讓代理能維持探索歷史的記憶,解決長時域導航
- 單一訓練好的策略能泛化到不同的機器人形態(LoCoBot 與 Stretch)以及未見過的下游任務,不需要微調
主要結果
- 在 CHORES-S 物件目標導航基準測試上達到 85.5% 的成功率,比先前最先進方法絕對提升 28.5%
- 同時在四個模擬基準測試上達到最先進的表現
- 在兩個不同的機器人平台(LoCoBot 與 Stretch RE-1)上實現零樣本模擬到現實遷移,不需要任何領域適應
- 可延伸到物件追蹤、多物件導航與開放詞彙導航,不需要額外微調
- 在 150K 間模擬房屋中,以數億次環境互動進行同策略強化學習訓練
限制
- 訓練需要龐大的運算資源:在 150K 間房屋中進行數億次強化學習互動需要大量 GPU 資源
- 僅使用 RGB 輸入意味著沒有深度資訊,在低光源或缺乏紋理的環境中表現可能下降
- 目前僅限於室內導航,戶外或非結構化環境尚未評估
- 新任務(例如操作)的獎勵設計需要仔細的工程處理,而這項工作並未涵蓋
- 程序化生成的訓練環境可能無法涵蓋真實世界格局的所有複雜性
對領域的影響
PoliFormer 驗證了具身強化學習的擴展假說:在多樣環境中以大規模訓練導航策略,能產生遠遠超出其訓練分布的泛化能力的代理。這項工作讓這個領域轉向大規模同策略強化學習,作為通往通用具身代理的可行路徑,與目前主導機器人操作的模仿學習方法相輔相成。
摘要
我們提出 PoliFormer,一套擴展同策略強化學習以訓練強大的僅 RGB 室內導航代理的方法。PoliFormer 結合一個基礎性的視覺 Transformer 編碼器(DINOv2)與一個因果 Transformer 解碼器,在多樣、程序化生成的模擬環境(150K 間 ProcTHOR 房屋)中,以數億次互動進行端對端的同策略強化學習訓練。我們的代理在兩個機器人平台(LoCoBot 與 Stretch RE-1)以及四個模擬基準測試上都達到最先進的表現。最值得注意的是,PoliFormer 在 CHORES-S 基準測試的物件目標導航中達到 85.5% 的成功率,比先前方法絕對提升 28.5%。這個框架展現出卓越的零樣本模擬到現實遷移,不需要任何領域適應,並能輕易延伸到物件追蹤、多物件導航與開放詞彙導航等下游任務,而不需要額外微調。
連結
- arXiv 2406.20083: https://arxiv.org/abs/2406.20083
- DOI 10.48550/arXiv.2406.20083: https://doi.org/10.48550/arXiv.2406.20083
- PDF: https://arxiv.org/pdf/2406.20083.pdf
- 程式碼: https://github.com/allenai/PoliFormer
- 專案頁面: https://poliformer.allen.ai/