Open X-Embodiment (OXE)
最大的開放機器人資料集：來自 22 種形態、超過 100 萬個回合
授權條款
CC-BY-4.0
概述
最大的開源機器人資料集，收錄來自 22 種機器人形態、超過 100 萬個機器人回合，由全球 34 個研究實驗室收集。內含 60 個資料集，涵蓋 527 種技能，用於訓練通用機器人策略。
Open X-Embodiment 是規模最大的公開機器人資料集，彙整了超過一百萬個真實機器人操作回合，這些資料由全球 34 個研究機構在 22 種不同的機器人形態上收集而來。它包含 60 個不同的資料集，涵蓋 527 種不同的操作技能，在機器人型態、任務與運作條件上提供前所未有的多樣性。這個龐大的集合促成了跨形態學習研究：以多種機器人類型的資料訓練的策略，能夠泛化到新的平台與任務。標準化的資料格式有助於大規模預訓練機器人基礎模型，支援通用操作系統的研究。透過將數十個實驗室的貢獻整合為統一資源，Open X-Embodiment 處理了長期以來限制機器人機器學習研究的資料稀缺問題。
為何重要
Open X-Embodiment 是機器人資料收集領域規模最大的合作計畫，集結 34 個研究實驗室，打造出可用於訓練通用機器人策略的資料集。它證明了跨形態訓練的表現能夠優於以單一資料集訓練的策略。
解決的問題
個別機器人實驗室只在特定機器人上收集小型資料集，使得訓練通用策略成為不可能。OXE 以前所未有的規模彙整多樣的操作資料，證明跨形態訓練能在不同機器人型態之間轉移知識。
重點
- 來自 22 種不同機器人形態、超過 100 萬個真實機器人回合
- 由全球 34 個研究機構收集，涵蓋 527 種技能
- 以 OXE 訓練的 RT-X 模型表現優於單一資料集的專用模型
- 標準化資料格式（RLDS）讓新資料集易於整合
- Google DeepMind RT-2-X 通用策略的基礎
適用對象
- 訓練基礎模型的機器人研究人員
- 建構通用操作策略的實驗室
- 開發 VLA（視覺語言動作）模型的團隊
- 將機器人學習擴展到單一任務展示之外的公司
限制
- 資料高度偏重桌面操作任務
- 各貢獻實驗室的資料品質與標註一致性不一
- 以完整資料集訓練需要大量運算資源
- 轉移到真實世界時，每台機器人仍需進行領域適應