Open X-Embodiment (OXE)

Maior conjunto de dados de robótica aberto: 1M+ episódios de 22 incorporações

Licença

CC-BY-4.0

Visão geral

O maior dataset de robótica de código aberto, com mais de 1M de episódios de robôs de 22 incorporações robóticas, coletados em 34 laboratórios de pesquisa em todo o mundo. Contém 60 datasets que abrangem 527 habilidades para o treinamento de políticas generalistas de robôs.

O Open X-Embodiment é o maior conjunto de dados de robótica disponível publicamente, reunindo mais de um milhão de episódios de manipulação com robôs reais coletados em 22 diferentes incorporações robóticas (embodiments) de 34 instituições de pesquisa ao redor do mundo. O conjunto abrange 60 datasets distintos que cobrem 527 habilidades de manipulação diferentes, oferecendo uma diversidade sem precedentes em morfologias de robôs, tarefas e condições de operação. Essa enorme coleção possibilita pesquisas em aprendizado entre incorporações (cross-embodiment), em que políticas treinadas com dados de vários tipos de robôs conseguem generalizar para novas plataformas e tarefas. O formato de dados padronizado facilita o pré-treinamento em larga escala de modelos de fundação para robótica, apoiando a pesquisa em sistemas de manipulação de propósito geral. Ao combinar as contribuições de dezenas de laboratórios em um recurso unificado, o Open X-Embodiment enfrenta a escassez de dados que historicamente limitou a pesquisa em aprendizado de máquina para robótica.

Por que importa

O Open X-Embodiment representa o maior esforço colaborativo de coleta de dados em robótica, reunindo 34 laboratórios de pesquisa para criar um conjunto de dados que permite treinar políticas robóticas de uso geral. Ele provou que o treinamento cross-embodiment pode melhorar o desempenho em relação a políticas treinadas com um único conjunto de dados.

Problema que resolve

Laboratórios de robótica individuais coletam pequenos datasets em robôs específicos, o que torna impossível treinar políticas de propósito geral. O OXE reúne dados diversos de manipulação em uma escala sem precedentes, comprovando que o treinamento entre incorporações transfere conhecimento entre diferentes morfologias de robôs.

Pontos principais

• Mais de 1 milhão de episódios com robôs reais de 22 incorporações robóticas diferentes
• Coletados em 34 instituições de pesquisa ao redor do mundo, abrangendo 527 habilidades
• Modelos RT-X treinados no OXE superam especialistas treinados em um único dataset
• Formato de dados padronizado (RLDS) facilita a integração de novos datasets
• Base da política generalista RT-2-X do Google DeepMind

Para quem é

• Pesquisadores de robótica que treinam modelos de fundação
• Laboratórios que constroem políticas de manipulação generalistas
• Equipes que desenvolvem modelos VLA (visão-linguagem-ação)
• Empresas que escalam o aprendizado de robôs além de demos de tarefa única

Limitações

• Fortemente concentrado em tarefas de manipulação sobre mesa
• A qualidade e a consistência da rotulagem variam entre os laboratórios participantes
• Treinar com o dataset completo exige poder computacional significativo
• A transferência para o mundo real ainda exige adaptação de domínio para cada robô