Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

FineART

Dataset de robot bimanual con cada paso de 1.718 horas etiquetado en lenguaje

Licencia

  • dataset: CC BY 4.0
  • training code (in LeRobot): Apache 2.0

Licencias divididas. El conjunto de datos FineART es CC BY 4.0. Los pesos del modelo FineART-VLA están bajo la licencia de Gemma, con los Gemma Terms of Use de Google y sus restricciones de uso, heredados de PaliGemma y π₀.₅. El código de entrenamiento en LeRobot es Apache-2.0. Comprobado el 2026-10-29.

Resumen

FineART es un conjunto de datos abierto de manipulación bimanual publicado por Scale AI y el equipo LeRobot de Hugging Face el 29 de octubre de 2026. Contiene 40.543 episodios teleoperados, 1.718 horas en 151 tareas, todos grabados en una Trossen Stationary AI, una estación de trabajo de dos brazos al estilo de ALOHA. Lo que lo distingue es el etiquetado: cada episodio se divide en pasos cortos, cada uno con una descripción escrita por una persona, 533.913 en total, de modo que un modelo puede aprender no solo la tarea, sino también el orden de los pasos que la completan. El conjunto de datos está en Hugging Face bajo CC BY 4.0 en el formato propio de LeRobot.

La publicación incluye también FineART-VLA, un modelo de visión-lenguaje-acción que primero predice en palabras su siguiente paso y después lo ejecuta. Sus pesos están en Hugging Face y su código de entrenamiento forma parte de LeRobot. Ambos se describen en el artículo FineART: Fine-Grained Annotated Robotic Trajectory Dataset and Vision-Language-Action Model for Bimanual Manipulation.

Cada episodio es un intento completo de una tarea, de unos 2,5 minutos de media, grabado por teleoperadores humanos con un sistema líder-seguidor. El estado y la acción del robot son 14 números cada uno (siete por brazo: cinco ángulos articulares y dos valores para la pinza ALOHA2), y cuatro cámaras graban cada episodio: una vista cenital, una vista baja y una en cada muñeca, almacenadas como vídeo de 360 × 640 a 30 fps. En total, la publicación tiene 185,5 millones de fotogramas en el formato de dataset LeRobot v3.0, por lo que se carga con LeRobotDataset o se puede transmitir sin descargarlo todo.

Alrededor del 77 % de las horas son tareas cotidianas de tomar y colocar y de clasificación; el 23 % restante cubre habilidades con mucho contacto: doblar y manipular textiles, uso de herramientas, tendido de cables, alineación compliante e inserción de precisión. Cada episodio incluye un resumen del episodio completo con notas sobre la calidad de ejecución y el éxito, además de etiquetas de pasos contiguas y sin solapamiento con sus tiempos de inicio, unas 13 por episodio, como "Put the right black candle holder on the shelf". Un equipo grabó los episodios, un segundo escribió las etiquetas sin ayuda de un modelo de lenguaje y un tercero las auditó.

FineART-VLA parte de π₀.₅ de Physical Intelligence (openpi): una red troncal de visión-lenguaje Gemma de 2.000 millones de parámetros con un codificador de imágenes SigLIP y un experto de acción independiente de 300 millones de parámetros que genera bloques de acción de 50 pasos mediante flow matching. Una sola política hace ambos trabajos: predice el siguiente paso en lenguaje (System 2) y luego produce acciones continuas para ese paso (System 1). La guía de FineART-VLA de LeRobot explica cómo cargar el checkpoint, guiarlo paso a paso en lenguaje sencillo y ajustarlo con lerobot-train sobre tus propios datos etiquetados por pasos; lerobot-annotate puede añadir etiquetas de pasos a cualquier dataset de LeRobot.

Por qué importa

La mayoría de los datasets abiertos de robótica dan una sola instrucción por episodio, así que un modelo nunca ve cómo se descompone una tarea larga. FineART etiqueta cada paso de cada episodio, y en 3.400 ejecuciones de evaluación con robots reales los autores muestran lo que eso aporta: el entrenamiento intermedio con las etiquetas de pasos elevó el éxito en una tarea de instrucciones espaciales del 32 % al 100 %, y en una tarea larga no vista, con una persona guiando paso a paso, del 16 % al 76 %. En otro robot, los brazos YAM de I2RT, partir de FineART igualó la referencia con unas diez veces menos datos de ajuste fino. Los datos, los pesos y el código de entrenamiento son todos abiertos.

Qué problema resuelve

Entrenar a un robot para seguir instrucciones de varios pasos requiere demostraciones en las que cada paso tenga nombre y tiempo. Recogerlas y etiquetarlas a mano es lento y caro, y los datasets bimanuales existentes solo etiquetan pasos en parte de sus horas. FineART ofrece 1.718 horas totalmente etiquetadas en una plataforma de dos brazos muy extendida, con las herramientas de LeRobot para entrenar con ellas y etiquetar datos nuevos de la misma manera.

Puntos clave

  • 40.543 episodios teleoperados, 1.718 horas y 151 tareas en un robot bimanual Trossen Stationary AI (estilo ALOHA)
  • 533.913 etiquetas de pasos escritas por personas, con tiempos de inicio, que cubren el 100 % de las horas, unas 13 por episodio
  • Alrededor del 77 % son tareas cotidianas de tomar y colocar y de clasificación, y el 23 % trabajo con mucho contacto: textiles, herramientas, cables, alineación e inserción
  • FineART-VLA, basado en π₀.₅, predice su siguiente paso en lenguaje y luego actúa; se publican los pesos y el código de entrenamiento en LeRobot
  • En las pruebas de los autores, entrenar con etiquetas de pasos elevó el éxito con instrucciones espaciales del 32 % al 100 % y redujo unas diez veces los datos de ajuste fino para un robot nuevo

Para quién es

  • Investigadores de aprendizaje robótico que entrenan políticas de visión-lenguaje-acción en tareas largas de varios pasos
  • Equipos con robots bimanuales estilo ALOHA que buscan datos preentrenados y un checkpoint de partida
  • Usuarios de LeRobot que quieren etiquetar por pasos sus propios datasets y entrenar políticas jerárquicas
  • Investigadores que estudian la descomposición de tareas, el anclaje del lenguaje y la transferencia entre morfologías

Limitaciones

  • Una sola morfología: todo se grabó en un Trossen Stationary AI, así que otros robots necesitan adaptación, como muestran los experimentos con YAM
  • El modelo no tiene la licencia del dataset: FineART-VLA mantiene la licencia Gemma y sus restricciones de uso, heredadas de PaliGemma y π₀.₅
  • Los pesos ocupan unos 9,35 GB y el repositorio de Hugging Face del tokenizador de texto puede exigir aceptar los términos de Google
  • La mezcla de tareas está desequilibrada: alrededor del 77 % de las horas son de tomar y colocar y de clasificación, así que la cola con mucho contacto necesita un muestreo ponderado por tarea
  • Las cifras de éxito proceden de las evaluaciones de los propios autores en su propio hardware y con sus propios protocolos

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.