Open X-Embodiment (OXE)

Mayor dataset abierto de robótica: 1M+ episodios de 22 corporeidades

Licencia

CC-BY-4.0

Resumen

El dataset de robótica de código abierto más grande con más de 1M de episodios de robots de 22 corporeidades robóticas, recolectados en 34 laboratorios de investigación en todo el mundo. Contiene 60 datasets que abarcan 527 habilidades para entrenar políticas de robots generalistas.

Open X-Embodiment es el mayor conjunto de datos de robótica disponible públicamente, que reúne más de un millón de episodios de manipulación de robots reales recopilados con 22 encarnaciones robóticas diferentes en 34 instituciones de investigación de todo el mundo. El conjunto de datos abarca 60 conjuntos de datos distintos que cubren 527 habilidades de manipulación diferentes, lo que proporciona una diversidad sin precedentes en morfologías robóticas, tareas y condiciones de operación. Esta enorme colección permite la investigación en aprendizaje entre encarnaciones (cross-embodiment), donde las políticas entrenadas con datos de varios tipos de robots pueden generalizar a nuevas plataformas y tareas. El formato de datos estandarizado facilita el preentrenamiento a gran escala de modelos fundacionales para robótica, respaldando la investigación en sistemas de manipulación de propósito general. Al combinar las contribuciones de decenas de laboratorios en un recurso unificado, Open X-Embodiment aborda la escasez de datos que históricamente ha limitado la investigación en aprendizaje automático para robótica.

Por qué importa

Open X-Embodiment representa el mayor esfuerzo colaborativo en recopilación de datos robóticos: une a 34 laboratorios de investigación para crear un conjunto de datos que permite entrenar políticas robóticas de propósito general. Demostró que el entrenamiento cross-embodiment puede mejorar el rendimiento frente a políticas entrenadas con un solo conjunto de datos.

Qué problema resuelve

Cada laboratorio de robótica recopila pequeños conjuntos de datos en robots específicos, lo que hace imposible entrenar políticas de propósito general. OXE reúne datos de manipulación diversos a una escala sin precedentes, demostrando que el entrenamiento entre encarnaciones transfiere conocimiento entre distintas morfologías robóticas.

Puntos clave

• Más de 1 millón de episodios de robots reales de 22 encarnaciones robóticas diferentes
• Recopilados en 34 instituciones de investigación de todo el mundo, abarcando 527 habilidades
• Los modelos RT-X entrenados con OXE superan a los especialistas de un solo conjunto de datos
• El formato de datos estandarizado (RLDS) facilita la integración de nuevos conjuntos de datos
• Base de la política generalista RT-2-X de Google DeepMind

Para quién es

• Investigadores en robótica que entrenan modelos fundacionales
• Laboratorios que construyen políticas de manipulación generalistas
• Equipos que desarrollan modelos VLA (visión-lenguaje-acción)
• Empresas que escalan el aprendizaje robótico más allá de demos de una sola tarea

Limitaciones

• Fuertemente sesgado hacia tareas de manipulación sobre mesa
• La calidad y la consistencia del etiquetado varían entre los laboratorios participantes
• Entrenar con el conjunto de datos completo requiere una gran capacidad de cómputo
• La transferencia al mundo real sigue requiriendo adaptación de dominio para cada robot