Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

Eidon Tracker POV

1.274 horas de vídeo doméstico en primera persona con seguimiento de brazos por siete IMU

Licencia

CC-BY-4.0

Resumen

Veintisiete voluntarios llevaron una cámara en la cabeza y un arnés de siete sensores IMU mientras hacían tareas reales en sus propias casas: doblar ropa, limpiar, fregar, cocinar, tejer. El resultado son 13.451 grabaciones que suman 1.273,8 horas, cada una emparejando vídeo en primera persona con datos de orientación a 24 Hz para ambas manos, ambos antebrazos, ambos brazos y el pecho. El sensor del pecho es el marco de referencia: componer su inversa con una extremidad da la pose del brazo relativa al torso, invariante a hacia dónde mire la persona. El vídeo y las IMU viven en dos repositorios unidos por recording_id, con un tercer contenedor que guarda otras 306 horas solo de vídeo. Todo bajo CC-BY-4.0.

Los grandes conjuntos de datos de aprendizaje robótico como AgiBot World, DROID, Open X-Embodiment y ABC-130k registran robots. Este registra a personas realizando manipulaciones cotidianas, desde su propio punto de vista, con la configuración de sus brazos medida en lugar de inferida. Estimar la pose de la mano a partir de vídeo egocéntrico es un problema difícil y ruidoso; aquí las poses de los brazos vienen con una referencia real procedente de sensores llevados en el cuerpo.

La ficha del conjunto de datos documenta en detalle sus propias debilidades. La distribución de tareas está muy sesgada: doblar ropa supone el 67,5 % de todas las horas y las clases minoritarias tienen menos de tres horas cada una, por lo que la ficha advierte de que no se trate como un conjunto de datos de actividades equilibrado de nueve clases. Los participantes son pocos y con pesos desiguales: el mayor aporta el 16,1 % de las horas y los cinco primeros el 57,2 %, por lo que la ficha aconseja dividir por contributor_id: una división aleatoria filtra a la misma persona, el mismo hogar y el mismo equipo de cámara entre entrenamiento y prueba e infla los resultados. Los datos demográficos se publican y se describen como no representativos: de quienes los indicaron, la mediana de edad es 26 años y 15 de 17 son hombres. Las lecturas en bruto del acelerómetro, el giroscopio y el magnetómetro cubren solo 2.841 grabaciones, y la ficha nombra el campo exacto por el que filtrar. El control de calidad aplicó a cada grabación detección de manos con MediaPipe, brillo HSV, desenfoque laplaciano y comprobaciones de estabilidad del flujo óptico; las 472 grabaciones rechazadas se incluyen marcadas como ejemplos negativos.

La empresa que lo creó, Eidon AI (que opera como Solidic Labs Inc), ha cerrado. Publicó los datos bajo CC-BY-4.0 para que sobrevivieran a la empresa, lo que convierte esto en una publicación final y no en una primera con más prometido.

Por qué importa

La mayoría de los grandes conjuntos de datos de aprendizaje robótico registran robots teleoperados. Las políticas que aprenden de vídeo humano necesitan vídeo humano, y lo difícil siempre ha sido saber qué hacían realmente los brazos: la estimación de pose desde una cámara en primera persona es poco fiable en la muñeca y peor en el hombro. Grabar 1.274 horas de tareas domésticas reales con siete IMU en el cuerpo responde a eso directamente, y los datos se publican bajo una licencia permisiva.

Qué problema resuelve

Aprender manipulación a partir de vídeo humano exige saber qué hacían los brazos, y recuperarlo desde una cámara en primera persona no es fiable. Esto lo graba directamente: orientación a 24 Hz de siete sensores llevados en el cuerpo junto al vídeo, más de mil horas de trabajo doméstico sin poner en escena, de uso comercial libre.

Puntos clave

  • 13.451 grabaciones, 1.273,8 horas, 27 participantes, 9,05 TB de MP4 de 1080p a 4K
  • Siete IMU de 9 ejes a 24 Hz: ambas manos, ambos antebrazos, ambos brazos y el pecho, que actúa como sistema de referencia relativo al torso
  • El vídeo y la IMU están en repositorios separados unidos por recording_id; un tercer bucket de almacenamiento añade 306 horas de material solo de vídeo de 37 participantes
  • Tareas reales en hogares reales en lugar de demostraciones preparadas: colada, limpieza, platos, cocina, dibujo, punto, hacer la cama, regar plantas
  • Cada grabación lleva métricas de control de calidad y un estado válido/marcado/no válido; las 472 no válidas se incluyen deliberadamente como ejemplos negativos
  • La ficha del conjunto de datos nombra los escollos: tareas sesgadas, filtración de participantes en una división aleatoria, datos demográficos escasos y qué campo de metadatos indica realmente datos de movimiento en bruto
  • CC-BY-4.0, uso comercial permitido con atribución, publicado como versión final tras el cierre de la empresa que lo creó

Para quién es

  • Quien entrene políticas de manipulación o modelos del mundo con vídeo de demostración humana
  • Investigadores de estimación de pose de mano y brazo en vídeo egocéntrico que necesiten verdad de referencia para evaluar
  • Equipos que construyan reconocimiento de actividades de la vida diaria, en robótica asistencial o fuera de ella
  • Quien estudie fusión de sensores entre visión e IMU llevadas en el cuerpo
  • Quien quiera escala en datos de manipulación doméstica sin recogerlos por su cuenta

Limitaciones

  • Doblar ropa es el 67,5 % de todas las horas; las actividades de la cola tienen menos de tres horas cada una y no sostienen una clase por sí solas
  • Veintisiete colaboradores, de los que los cinco primeros aportan el 57,2 % de las horas: divide por contributor_id o tu evaluación filtrará la misma persona, casa y equipo a ambos lados
  • Los datos demográficos son escasos y sesgados: entre quienes respondieron, mediana de 26 años y 15 de 17 hombres
  • Los datos brutos de acelerómetro, giroscopio y magnetómetro solo cubren 2.841 de 13.451 grabaciones; los cuaterniones de orientación están en todas, pero los flujos brutos son opcionales
  • El vídeo está sin procesar: sin difuminado de caras ni redacción, grabado dentro de casas particulares, y la ficha es explícita en que no cabe descartar la captura incidental de caras, documentos o pantallas
  • 9,05 TB solo de vídeo, así que no es un conjunto que se descargue a la ligera
  • No hay sincronización por hardware entre cámara e IMU; la alineación es por marca de tiempo, con un desfase que los autores describen como unos pocos milisegundos de ejecución secuencial de código
  • La organización que lo produjo ha cerrado, así que no habrá correcciones, ni una v2, ni nadie a quien preguntar más allá de la dirección de solicitud de retirada que figura en la ficha

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.