FiftyOne ya lee directamente los conjuntos de datos de LeRobot, con búsqueda entre episodios
- Fuente: Voxel51 and Hugging Face
- Autor: Open Source Robotics
- Publicado: 2026-10-05
- Categoría: research
FiftyOne, la herramienta de código abierto de Voxel51 para curar conjuntos de datos, ya abre los conjuntos LeRobot v3 sin convertirlos ni copiar vídeo. Cada episodio se reproduce con sus cámaras, estados y acciones sincronizados, y después se puede filtrar, buscar por texto o por similitud y exportar como un nuevo conjunto LeRobot. Solo lee v3; el cargador llegó con FiftyOne 1.22.0.
FiftyOne, la herramienta de código abierto de Voxel51 para curar conjuntos de datos, ya abre los conjuntos de LeRobot v3 tal como están. Se le indica una carpeta y cada episodio se convierte en una muestra que se puede reproducir, filtrar y buscar, sin conversión de formato y sin recodificar ni copiar ningún vídeo. Ingenieros de Voxel51 y Hugging Face describieron la compatibilidad el 5 de octubre; el cargador en sí se publicó con FiftyOne 1.22.0 el 12 de septiembre y figura en las notas de la versión como el nuevo tipo LeRobotDataset con un visor de episodios.
Cómo se ve un episodio
La importación solo lee los archivos de metadatos del conjunto. Cada muestra es un puntero: a las filas de los archivos Parquet que contienen los estados y acciones del episodio y a la ventana de tiempo del MP4 de cada cámara. En la aplicación cada cámara tiene su propio panel, y un panel «State & Action» muestra el valor de cada articulación fotograma a fotograma, al compás del vídeo. El tipo de robot, la tarea, la duración y los fotogramas por segundo de cada episodio pasan a ser campos normales, de modo que «todos los episodios de SO-101 de más de diez segundos» es un filtro y no un script. La documentación de FiftyOne explica la importación y los campos.
El ejemplo completo
El anuncio incluye un conjunto de ejemplo de 497 episodios, extraído del LeRobot Community Dataset v3: unos diez episodios de cada uno de 50 tipos de robot. Cada episodio lleva un embedding de vídeo de Qwen3-VL-Embedding-2B, calculado a partir de hasta 32 fotogramas espaciados uniformemente. Eso es lo que hace posible la curación: buscar episodios con una descripción en texto, encontrar los más parecidos a uno elegido y puntuar cada episodio según lo inusual o lo típico que es, para localizar casi duplicados y valores atípicos antes de entrenar.
Cómo volver a sacar los datos
Una selección filtrada llega al entrenamiento por tres vías: leer las filas en su sitio a través del puntero, pasar los números de episodio elegidos al cargador LeRobotDataset del propio LeRobot, o exportar la selección como un nuevo conjunto LeRobot v3 autónomo. Solo la exportación copia datos.
Qué comprobar primero
- Solo se lee LeRobot v3; los conjuntos más antiguos hay que convertirlos antes con las herramientas de LeRobot. - Las muestras apuntan a los archivos de origen, así que un conjunto movido o modificado hay que importarlo de nuevo. - Los números de episodio vuelven a empezar en cero en cada conjunto de origen. Si se cargan varios juntos, conviene filtrar por nombre de conjunto antes de exportar o entrenar, y exportar un conjunto de origen cada vez, porque sus esquemas difieren. - Cargar un conjunto LeRobot directamente desde el Hugging Face Hub necesitó una corrección fusionada el 5 de octubre, después de la última versión (1.22.1), así que una carpeta local es la vía segura hasta la próxima versión.
Por qué importa
La mayoría de los conjuntos de datos para aprendizaje robótico se juzgan por su tamaño, porque mirar dentro es lento: miles de episodios, varias cámaras en cada uno y ninguna forma rápida de ver cuáles son casi copias, cuáles están rotos y cuáles muestran algo poco frecuente. Una herramienta que lee el formato LeRobot en su sitio, reproduce cualquier episodio junto a los valores de sus articulaciones y ordena los episodios según lo típicos o inusuales que son abarata la inspección lo suficiente como para hacerla antes de cada entrenamiento. Además da a los conjuntos comunitarios grabados con brazos de bajo coste las mismas herramientas de curación que los conjuntos de imágenes tienen desde hace años.
Puntos clave
- FiftyOne 1.22.0 y posteriores cargan conjuntos LeRobot v3 con una sola llamada; al importar no se convierte, recodifica ni copia nada
- Cada episodio es una muestra: cada cámara se reproduce en su panel, con estados y acciones de las articulaciones fotograma a fotograma al compás del vídeo
- El tipo de robot, la tarea, la duración y los fotogramas por segundo son campos consultables, así que elegir episodios es un filtro y no un script
- Con embeddings de vídeo, los episodios se pueden buscar por texto, emparejar con episodios similares y puntuar como inusuales o típicos
- Una selección vuelve al entrenamiento en su sitio, mediante el cargador del propio LeRobot o como conjunto LeRobot v3 exportado
- Solo se admite v3, y cargar desde el Hugging Face Hub necesita una corrección fusionada después de la versión 1.22.1
Aspecto de código abierto
FiftyOne es de código abierto bajo Apache-2.0 y la compatibilidad con LeRobot está en ese paquete abierto, no detrás del producto comercial FiftyOne Enterprise de Voxel51. El conjunto de ejemplo está publicado bajo Apache-2.0 en el Hugging Face Hub y se basa en grabaciones aportadas por la comunidad de LeRobot. Las notas de la versión sí mencionan por separado la carga de conjuntos LeRobot desde almacenamiento en la nube; esa es la parte que conviene contrastar con la lista de funciones de Enterprise antes de planificar en torno a ella.
Tecnologías relacionadas
- FiftyOne
- LeRobot
- LeRobot dataset v3
- Qwen3-VL-Embedding
- Parquet
- Hugging Face Hub
Proyectos relacionados
Enlaces
- Fuente: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis