Open X-Embodiment (OXE)
最大开源机器人数据集：来自22种形态的100万+片段
许可证
CC-BY-4.0
概述
最大的开源机器人数据集，包含来自22种机器人形态的100多万个机器人片段，由全球34个研究实验室收集。包含60个数据集，涵盖527种技能，用于训练通用机器人策略。
Open X-Embodiment 是规模最大的公开机器人数据集，汇集了来自全球 34 家研究机构、涵盖 22 种不同机器人形态的超过一百万个真实机器人操作片段。该数据集包含 60 个不同的数据集，覆盖 527 种不同的操作技能，在机器人形态、任务和运行条件方面提供了前所未有的多样性。这一庞大的数据集合推动了跨具身学习研究，使基于多种机器人类型数据训练的策略能够泛化到新的平台和任务。标准化的数据格式便于对机器人基础模型进行大规模预训练，支持通用操作系统的研究。通过将数十个实验室的贡献整合为统一的资源，Open X-Embodiment 解决了长期以来限制机器人机器学习研究的数据稀缺难题。
为何重要
Open X-Embodiment 是机器人数据采集领域规模最大的协作项目，汇集了 34 个研究实验室，共同构建了一个可用于训练通用机器人策略的数据集。它证明了跨具身训练能够带来优于单一数据集策略的性能。
解决的问题
各个机器人实验室只在特定机器人上采集小规模数据集，因而无法训练通用策略。OXE 以前所未有的规模汇集了多样化的操作数据，证明跨具身训练能够在不同机器人形态之间迁移知识。
要点
- 来自 22 种不同机器人形态的超过 100 万个真实机器人片段
- 由全球 34 家研究机构采集，涵盖 527 项技能
- 基于 OXE 训练的 RT-X 模型优于单一数据集的专用模型
- 标准化数据格式（RLDS）便于轻松集成新数据集
- Google DeepMind RT-2-X 通用策略的基础
适用人群
- 训练基础模型的机器人研究人员
- 构建通用操作策略的实验室
- 开发 VLA（视觉-语言-动作）模型的团队
- 将机器人学习扩展到单任务演示之外的公司
局限
- 严重偏重桌面操作任务
- 各贡献实验室的数据质量和标注一致性参差不齐
- 在完整数据集上训练需要大量算力
- 迁移到真实世界仍需针对每台机器人进行域适应