Octo
以 80 萬條 Open X-Embodiment 軌跡訓練的開源通用機器人策略
授權條款
MIT
概述
Octo 是最早一批完全開源的通用機器人策略之一,於 2024 年發布。它是一個以 Transformer 為基礎的擴散策略,以 Open X-Embodiment 資料集中的 800,000 條機器人軌跡預訓練而成。它提供兩個預訓練檢查點:Octo-Small(27M 參數)與 Octo-Base(93M 參數),皆可從 Hugging Face 下載。模型接受語言指令或目標影像指令,並支援多個 RGB 相機輸入,因此能廣泛應用於不同的機器人形態。Octo 採用模組化的注意力結構,讓使用者只需幾個小時,就能在消費級 GPU 上有效率地將它微調到新的感測器、動作空間與機器人型態。
Octo 是一個以 Transformer 為基礎的擴散策略,設計定位為「策略初始化」:一個強大、通用的起點,讓研究人員針對自己的機器人環境進行微調,而不必從零開始訓練。它是最早一批完全開源的通用機器人策略之一,比 OpenVLA 早了數個月,並在原始的 RSS 2024 論文中展示了跨越九種不同機器人平台的跨形態轉移。其架構結合了 Transformer 骨幹與擴散動作頭,作者以實驗證明,對於多峰動作分布,這種做法優於迴歸與離散 token 的替代方案。實作採用 JAX/Flax,而非 PyTorch。
為何重要
Octo 為開源通用機器人策略立下了範本。它釋出了一個任何人都能在消費級硬體上微調的強大模組化基準,降低了跨形態機器人學習的進入門檻,並推動這個領域朝向協作開發操作基礎模型的方向發展。
解決的問題
在 Octo 之前,每個機器人實驗室都從零開始訓練針對特定任務的策略,不但昂貴,也無法泛化。RT-2-X 等既有的大型機器人模型則是閉源的。Octo 是最早一批完全開源、可微調的通用策略之一,讓研究人員能從一個 93M 參數的預訓練檢查點起步,而非從零開始。
重點
- 第一個完全開源的通用機器人策略(RSS 2024)
- 兩個預訓練檢查點:Octo-Small(27M)與 Octo-Base(93M)
- 以 Open X-Embodiment 資料集中的 80 萬條軌跡訓練
- Transformer 骨幹 + 擴散動作頭:在觀測空間與動作空間上都具彈性
- 可在單張消費級 GPU 上於幾小時內完成微調
- 展示了跨越 9 種機器人平台的跨形態轉移
適用對象
- 實驗跨形態轉移的機器人研究人員
- 為新機器手臂微調通用策略的機器學習工程師
- 研究 VLA 前身以及朝 OpenVLA / pi-0 演進歷程的學生
限制
- 儲存庫自 2024 年 7 月起就沒有新的 commit:程式碼庫已停滯
- 以 JAX/Flax 而非 PyTorch 實作,限制了與大多數現代 VLA 工具的整合
- 主要以桌面操作任務訓練:對行走運動或靈巧任務的涵蓋有限
- 規模(93M)小於同期的閉源成果(例如 55B 的 RT-2-X),因此零樣本表現有其上限
- 在最先進成果方面,已被 OpenVLA、pi-0 與其他較新的通用策略取代