Octo: An Open-Source Generalist Robot Policy
作者: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Lawrence Yunliang Chen, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine · RSS 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
第一個在 800k 條軌跡上訓練的開放原始碼通用機器人策略,支援語言與目標影像條件,涵蓋 9 個平台,並可在消費級 GPU 上高效微調。
為何重要
Octo 證明開放原始碼的通用機器人策略是可行且實用的。它釋出了一個任何人都能在消費級硬體上微調、強大且模組化的基準模型,降低了跨形態機器人學習的入門門檻,並為社群如何分享與延伸操作用基礎模型立下標準。
問題
現有的機器人學習方法從零訓練針對任務的策略,成本高昂且無法泛化。打造通用機器人策略,需要處理多樣的感測器、動作空間與平台,同時保持容易微調,而過去並沒有開放原始碼的解決方案。
提出的方法
Octo 是一個以 Transformer 為基礎的大型策略,在 Open X-Embodiment 資料集的 800k 條軌跡上訓練。它採用帶有讀出 token 與擴散動作頭的模組化架構,能接受語言或目標影像指令,並透過在消費級 GPU 上的高效微調,適應新的感測輸入與動作空間。
關鍵見解
- 在 800k 條多樣軌跡上訓練的單一 Transformer 策略,能在 9 個不同的機器人平台上泛化,證明跨形態遷移在大規模下是可行的
- 帶有擴散動作頭的模組化架構,能靈活適應新的感測模態與動作空間,而不需從零重新訓練
- 在消費級 GPU 上微調只需幾小時,讓沒有龐大運算預算的實驗室也能使用通用策略
- 在多樣資料來源上共同訓練,持續勝過在單一領域資料上訓練,即使是在那個特定領域上評估也是如此
- 同時開放模型權重與訓練程式碼,促成社群快速採用,以及通用機器人策略的後續研究
主要結果
- 在 9 個具有多樣觀測與動作空間的機器人平台上,都是有效的策略初始化
- 可在標準消費級 GPU 上於幾小時內微調到新的機器人設置
- 在多數平台上,以有限的領域內資料微調時,表現優於從零訓練
- 詳細的消融實驗顯示,對於多峰動作分布,擴散動作頭優於其他替代方案
- 以完整的訓練與微調程式碼開放原始碼釋出,促成社群快速採用
限制
- 主要以桌面操作資料訓練,對行走運動、導航或靈巧機器手任務的涵蓋有限
- 效能高度取決於預訓練與微調領域之間的重疊;差異大的領域可能需要更多適應資料
- 93M 參數的模型比同期工作(例如 55B 的 RT-2-X)小,可能限制零樣本泛化
- 與利用完整 LLM 骨幹網路的 VLA 模型相比,語言基礎能力有限
對領域的影響
Octo 確立了開放原始碼通用機器人策略的範本。它的模組化設計與公開釋出加速了跨形態遷移學習的研究,數百個實驗室以它作為自己操作系統的起點。它證明開放原始碼模型能與專有方案競爭,推動這個領域走向協作開發。
摘要
在多樣機器人資料集上預訓練的大型策略,有潛力改變機器人學習:與其從零訓練新策略,這類通用機器人策略只需少量領域內資料就能微調,並廣泛泛化。然而,要廣泛適用於各種機器人學習情境、環境與任務,這類策略需要處理多樣的感測器與動作空間、適應各種常用的機器人平台,並能輕鬆、高效地微調到新領域。在這項工作中,我們的目標是為開發開放原始碼、廣泛適用的機器人操作通用策略奠定基礎。作為第一步,我們提出 Octo,一個以 Transformer 為基礎的大型策略,在迄今規模最大的機器人操作資料集 Open X-Embodiment 的 800k 條軌跡上訓練。它可以透過語言指令或目標影像下達指示,並能在標準消費級 GPU 上於幾小時內,有效微調到具有新感測輸入與動作空間的機器人設置。在跨 9 個機器人平台的實驗中,我們證明 Octo 是一個多用途的策略初始化,可以有效微調到新的觀測與動作空間。我們也針對 Octo 模型從架構到訓練資料的設計決策進行詳細的消融實驗,以引導未來建構通用機器人模型的研究。
連結
- arXiv 2405.12213: https://arxiv.org/abs/2405.12213
- PDF: https://arxiv.org/pdf/2405.12213.pdf
- 程式碼: https://github.com/octo-models/octo
- 專案頁面: https://octo-models.github.io/