Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators

作者: Kuo-Hao Zeng, Zichen Zhang, Kiana Ehsani, Rose Hendrix, Jordi Salvador, Alvaro Herrasti, Ross Girshick, Aniruddha Kembhavi, Luca Weihs · CoRL 2024

CoRL 2024

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用。

一句話摘要

以 DINOv2 + 因果 Transformer 搭配同策略強化學習訓練的僅 RGB 室內導航代理,在 CHORES-S 上達到 85.5% 的成功率(提升 28.5%),並在 LoCoBot 與 Stretch 機器人上實現零樣本模擬到現實遷移。

為何重要

PoliFormer 證明,打造強大具身 AI 代理的方法很直接:結合強大的預訓練視覺編碼器與以 Transformer 為基礎的策略,並以大規模的同策略強化學習進行訓練。對於開發導航產品的機器人公司而言,這顯示模擬到現實遷移能可靠地運作,而不需要昂貴的真實世界資料蒐集或領域適應。使用現成的視覺基礎模型作為凍結編碼器的做法,可能可以從導航推廣到操作與其他機器人任務。

問題

室內機器人導航仍然充滿挑戰,因為代理必須處理原始的視覺觀測、在長時域中維持空間記憶,並泛化到新的環境。目前的方法不是以人工設計的特徵搭配傳統規劃(對外觀變化很脆弱),就是以有限的訓練規模進行端對端學習。沒有任何現有方法能僅從 RGB 輸入,以真正的模擬到現實遷移實現可靠的物件目標導航。

提出的方法

PoliFormer 結合凍結的 DINOv2 視覺編碼器(提供穩健、可泛化的視覺特徵)與因果 Transformer 解碼器(提供時間記憶),在 150K 間程序化生成的 ProcTHOR 房屋中,以同策略強化學習(DD-PPO)進行端對端訓練。龐大的訓練規模與多樣的環境,產生出不需要模擬到現實領域適應就能泛化的策略。

關鍵見解

  • 大規模(數億次互動)的同策略強化學習產生的導航策略,遠遠超越模仿學習方法
  • 凍結的 DINOv2 編碼器提供穩健的視覺特徵,不需要領域適應就能實現零樣本模擬到現實遷移
  • 因果 Transformer 解碼器讓代理能維持探索歷史的記憶,解決長時域導航
  • 單一訓練好的策略能泛化到不同的機器人形態(LoCoBot 與 Stretch)以及未見過的下游任務,不需要微調

主要結果

  • 在 CHORES-S 物件目標導航基準測試上達到 85.5% 的成功率,比先前最先進方法絕對提升 28.5%
  • 同時在四個模擬基準測試上達到最先進的表現
  • 在兩個不同的機器人平台(LoCoBot 與 Stretch RE-1)上實現零樣本模擬到現實遷移,不需要任何領域適應
  • 可延伸到物件追蹤、多物件導航與開放詞彙導航,不需要額外微調
  • 在 150K 間模擬房屋中,以數億次環境互動進行同策略強化學習訓練

限制

  • 訓練需要龐大的運算資源:在 150K 間房屋中進行數億次強化學習互動需要大量 GPU 資源
  • 僅使用 RGB 輸入意味著沒有深度資訊,在低光源或缺乏紋理的環境中表現可能下降
  • 目前僅限於室內導航,戶外或非結構化環境尚未評估
  • 新任務(例如操作)的獎勵設計需要仔細的工程處理,而這項工作並未涵蓋
  • 程序化生成的訓練環境可能無法涵蓋真實世界格局的所有複雜性

對領域的影響

PoliFormer 驗證了具身強化學習的擴展假說:在多樣環境中以大規模訓練導航策略,能產生遠遠超出其訓練分布的泛化能力的代理。這項工作讓這個領域轉向大規模同策略強化學習,作為通往通用具身代理的可行路徑,與目前主導機器人操作的模仿學習方法相輔相成。

摘要

我們提出 PoliFormer,一套擴展同策略強化學習以訓練強大的僅 RGB 室內導航代理的方法。PoliFormer 結合一個基礎性的視覺 Transformer 編碼器(DINOv2)與一個因果 Transformer 解碼器,在多樣、程序化生成的模擬環境(150K 間 ProcTHOR 房屋)中,以數億次互動進行端對端的同策略強化學習訓練。我們的代理在兩個機器人平台(LoCoBot 與 Stretch RE-1)以及四個模擬基準測試上都達到最先進的表現。最值得注意的是,PoliFormer 在 CHORES-S 基準測試的物件目標導航中達到 85.5% 的成功率,比先前方法絕對提升 28.5%。這個框架展現出卓越的零樣本模擬到現實遷移,不需要任何領域適應,並能輕易延伸到物件追蹤、多物件導航與開放詞彙導航等下游任務,而不需要額外微調。

連結

  • arXiv 2406.20083: https://arxiv.org/abs/2406.20083
  • DOI 10.48550/arXiv.2406.20083: https://doi.org/10.48550/arXiv.2406.20083
  • PDF: https://arxiv.org/pdf/2406.20083.pdf
  • 程式碼: https://github.com/allenai/PoliFormer
  • 專案頁面: https://poliformer.allen.ai/

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。