Open Source Robotics

Una colección curada de proyectos, herramientas y software de robótica de código abierto de alta calidad.

LeRobot ya puede entrenar directamente desde tablas de LanceDB en almacenamiento de objetos

  • Fuente: Hugging Face and LanceDB
  • Autor: Open Source Robotics
  • Publicado: 2026-09-24
  • Categoría: research

La capa de datos de LeRobot ya lee tablas de LanceDB de forma nativa, así que el entrenamiento puede transmitirse desde almacenamiento de objetos con una mezcla global completa en lugar de descargar primero. Con todo DROID, la ejecución remota terminó 33 minutos antes que una copia local, con idéntica pérdida. El soporte está en la rama principal de LeRobot pero aún no en una versión publicada.

Corrección — 29 de octubre de 2026. Una versión anterior de esta noticia indicaba que DROID tenía aproximadamente 27,6 millones de fotogramas. La publicación enlazada no da esa cifra, por lo que se ha eliminado.

---

LeRobot ya puede entrenar directamente a partir de conjuntos de datos almacenados como tablas de LanceDB, leyendo desde el almacenamiento de objetos solo los bytes que necesita cada lote en lugar de descargar primero el conjunto de datos. Ingenieros de Hugging Face y LanceDB describieron la integración el 24 de septiembre, un mes después de que el soporte en sí se fusionara en la rama principal de LeRobot el 28 de agosto. Lance es el primer formato de almacenamiento alternativo que la capa de conjuntos de datos de LeRobot lee de forma nativa, y no hay que cambiar nada en el código de grabación ni de entrenamiento: el comando existente lerobot-train se apunta a una tabla Lance y elige por sí mismo el cargador adecuado.

El efecto práctico es que un conjunto de datos demasiado grande para copiarlo en cada máquina de entrenamiento puede quedarse donde está. Apuntando a un Hugging Face Storage Bucket, una ejecución de entrenamiento de SmolVLA en dos H100 consumió desde el bucket las mismas 212 muestras por segundo que desde una copia local en NVMe, con una curva de pérdida idéntica. La prueba más grande fue con todo DROID — 369 GB de vídeo — leído desde un almacén de objetos remoto con una mezcla global sobre todos los fotogramas. En dos ejecuciones de 10.000 pasos, idénticas en todo lo demás, en ocho H100, la ejecución con LanceDB terminó en 1 hora y 27 minutos frente a 2 horas del lector estándar sobre una copia local que antes requirió una descarga de 384 GB. La ejecución estándar pasó el 37 por ciento de su tiempo esperando datos; la de LanceDB, menos del 2 por ciento. La pérdida final coincidió hasta el cuarto decimal.

La segunda mitad del argumento tiene que ver con la curación. Como los datos de entrenamiento ya son una tabla de LanceDB, los embeddings, las puntuaciones derivadas y los índices de texto completo pueden vivir como columnas en las mismas filas que lee el entrenador, de modo que buscar y filtrar los datos no implica exportarlos a una base de datos vectorial aparte. Los autores generaron embeddings de 610.403 fotogramas de DROID con SigLIP2 y usaron consultas visuales y SQL combinadas para extraer comportamientos que no tenían etiqueta — fotogramas de tela desplazada en distintos hogares cuyo texto de tarea nunca lo mencionaba. Los episodios pueden inspeccionarse en Foxglove directamente desde la tabla.

Un análisis completo de DROID arrojó tres hallazgos que conviene conocer, entrenes con lo que entrenes: el filtro de inactividad de OpenPI elimina el 11,66 por ciento del conjunto de datos y fija en el código la longitud resultante en lugar de calcularla; la división predeterminada 80/20 coloca cada edificio y cada recolector de datos tanto en el conjunto de entrenamiento como en el de validación, por lo que hay fuga de datos; y los episodios exitosos resultaron ser más bruscos que los fallidos, lo que significa que el filtro de suavidad habitual descartaría datos buenos. En LIBERO, donde el éxito puede medirse en simulación, corromper deliberadamente el 30 por ciento de las demostraciones y luego eliminarlas con tres consultas a la tabla permitió obtener una política mejor que entrenar con el conjunto sin depurar.

Hay dos cosas que conviene dejar claras. El lector nativo está en la rama principal de LeRobot, pero aún no en una versión etiquetada — la más reciente, v0.6.1, es anterior — así que hoy implica instalar desde el código fuente. Y el paso que añade una columna calculada sin reescribir los datos, en el que se apoya el flujo de curación, se describe como una función de LanceDB Enterprise; el lector de código abierto y el formato Lance son de lo que depende el propio LeRobot. Los autores han publicado una demo interactiva que ejecuta estas consultas sobre la tabla completa de DROID.

Por qué importa

Los conjuntos de datos para el aprendizaje robótico han superado la costumbre de copiarlos en cada máquina de entrenamiento: solo DROID ocupa varios cientos de gigabytes de vídeo. Transmitir desde almacenamiento de objetos sin perder rendimiento de GPU ni calidad de mezcla elimina ese paso de copia, y mantener búsqueda, puntuaciones y embeddings en la misma tabla que lee el entrenador convierte la curación en una consulta en lugar de una cadena de exportación. Los hallazgos de un solo escaneo de DROID —una división por defecto con fugas, un filtro de calidad que apunta en la dirección equivocada— muestran por qué vale la pena abaratar la curación.

Puntos clave

  • LeRobot ya lee de forma nativa conjuntos de datos guardados como tablas de LanceDB; el código de grabación y de entrenamiento no cambia y lerobot-train elige solo el cargador
  • El entrenamiento puede transmitirse desde un contenedor de Hugging Face u otro almacenamiento de objetos con mezcla global sobre cada fotograma y sin descarga
  • Con todo DROID, una ejecución remota con LanceDB terminó en 1 h 27 min frente a 2 h de una con copia local, con pérdida idéntica y un 1,7 % del tiempo esperando datos en vez de un 37,4 %
  • Embeddings, puntuaciones e índices pueden vivir como columnas en la tabla de entrenamiento, así que curar y extraer son consultas y no exportaciones
  • Un escaneo de DROID encontró una división de entrenamiento y validación por defecto con fugas y un filtro de suavidad que elimina datos buenos
  • El soporte está en la rama principal de LeRobot pero aún no en una versión etiquetada, y el relleno de columnas usado para la curación es una función de LanceDB Enterprise

Aspecto de código abierto

La integración está en el propio LeRobot, bajo su licencia Apache-2.0, fusionada en la rama principal el 28 de agosto, y el formato Lance que lee es de código abierto. La línea que hay que vigilar es la que la separa de la oferta comercial de LanceDB: añadir una columna calculada sin reescribir una tabla —el paso sobre el que se construye el flujo de curación— se presenta como una función de LanceDB Enterprise. Entrenar desde tablas Lance y consultarlas no depende de ello.

Tecnologías relacionadas

  • LeRobot
  • LanceDB
  • Lance
  • SmolVLA
  • DROID
  • Foxglove
  • Hugging Face Storage Buckets

Enlaces

  • Fuente: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition

Este sitio web requiere JavaScript. Por favor, habilite JavaScript para explorar nuestros proyectos de robótica.