Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

ABC-130k

El mayor conjunto de datos de teleoperación robótica bimanual de código abierto: 130.919 episodios

Licencia

Apache-2.0

Resumen

ABC-130k es el mayor conjunto de datos de teleoperación robótica de código abierto. Contiene 130.919 trayectorias de manipulación bimanual —3.598 horas en total— recopiladas en estaciones YAM de dos brazos, cada una equipada con dos brazos de 6 DOF, pinzas de mordaza paralela y tres cámaras (una cenital y dos montadas en la muñeca). 43.090 de los episodios incluyen anotaciones de subtareas, almacenadas por separado de los datos de los episodios. El conjunto de datos se publica bajo Apache-2.0 en formato MCAP, con estados de articulación, posiciones de las pinzas y flujos de vídeo sincronizados, junto con un artículo de investigación complementario y código de entrenamiento/despliegue. Creado por Amazon FAR.

ABC-130k apunta al cuello de botella central de la manipulación generalista —la escala y la diversidad de los datos reales de robots— y lo hace para el escenario bimanual, poco atendido. Cada trayectoria es una demostración de teleoperación humana en una estación YAM estandarizada de dos brazos, capturada en MCAP con el estado completo de articulaciones/pinzas y tres vistas de cámara sincronizadas. Un amplio subconjunto anotado añade etiquetas de subtareas para un aprendizaje y una evaluación más detallados. Con 130.919 episodios y 3.598 horas es, hasta la fecha, el mayor corpus de teleoperación con licencia abierta, y se distribuye con código para entrenar y desplegar políticas sobre los datos.

Por qué importa

Las políticas de manipulación generalistas están limitadas por la escala y la diversidad de los datos reales de robots, y la mayoría de los grandes conjuntos de datos abiertos son de un solo brazo. ABC-130k es a la vez de escala fundacional y bimanual, cubriendo la coordinación de dos brazos que más falta en el campo, y ofrece a la comunidad un recurso con licencia abierta para entrenar y evaluar la manipulación bimanual. Unas 32.000 descargas al mes indican una adopción fuerte e inmediata.

Qué problema resuelve

Los datos de aprendizaje robótico abiertos son en su mayoría de un solo brazo y de escala limitada; no existía un conjunto de datos de teleoperación bimanual de escala fundacional y con licencia abierta para entrenar y evaluar la manipulación con dos brazos.

Puntos clave

  • El mayor conjunto de datos de teleoperación abierto hasta la fecha: 130.919 episodios, 3.598 horas, ~22 TB
  • Estaciones YAM bimanuales de dos brazos: dos brazos de 6 DOF, pinzas paralelas, tres cámaras
  • 43.090 episodios con anotaciones de subtareas almacenadas por separado de los datos de los episodios
  • Formato MCAP con estado de articulaciones/pinzas y vídeo sincronizado, además de artículo y código de entrenamiento/despliegue
  • Con licencia Apache-2.0; ~32k descargas/mes

Para quién es

  • Investigadores de manipulación bimanual
  • Entrenadores de modelos fundacionales de robots
  • Equipos de aprendizaje por imitación
  • Creadores de benchmarks y evaluaciones

Limitaciones

  • ~22 TB en total: requisitos significativos de almacenamiento y ancho de banda
  • Recopilado en una única plataforma de hardware (estaciones YAM de dos brazos)
  • Demostraciones de teleoperación, no trayectorias autónomas u óptimas
  • Las anotaciones de subtareas cubren un subconjunto (43.090 de 130.919 episodios)

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.