LeRobot 0.7.0 añade modelos de mundo y acción, inferencia remota y un sistema de entrenamiento reconstruido

Fuente: Hugging Face (LeRobot team)
Autor: Open Source Robotics
Publicado: 2026-11-05
Categoría: research

Hugging Face publicó LeRobot v0.7.0 el 5 de noviembre. Incluye en una versión estable los rollouts interactivos, añade cuatro modelos de mundo y acción y cuatro modelos visión-lenguaje-acción, reconstruye el entrenamiento para modelos de miles de millones de parámetros y permite que un robot ejecute su política en una GPU remota. Actualizar desde 0.6 cambia la instalación, el seguimiento de experimentos y los controladores de motores.

LeRobot, la biblioteca de código abierto de aprendizaje robótico de Hugging Face, publicó la v0.7.0 el 5 de noviembre, tres meses después de la v0.6.1. La publicación del lanzamiento del equipo la describe como un trabajo en los dos extremos de la vida de una política: entrenar con terabytes de demostraciones sin descargarlas antes, y hablar con el robot una vez que la política está en marcha. También reconstruye la instalación, el entrenamiento, la inferencia y la capa de hardware, así que actualizar desde la 0.6 requiere algunos cambios (véase la última sección).

Hablar con una política en ejecución

Las ejecuciones interactivas, que cubrimos cuando llegaron a la rama principal, ya están en una versión. Al añadir --interactive=true a lerobot-rollout, el robot, la política y los procesadores permanecen cargados: /subtask cambia la instrucción mientras el brazo se mueve, /vqa pregunta a la política qué ve y /autosteer le da un objetivo para que elija sus propias subtareas. Las dos últimas necesitan una política que escriba texto, como FineART-VLA, entrenada con el conjunto de datos FineART, o Wall-OSS-0.5, o un modelo externo de visión y lenguaje detrás de una API compatible con OpenAI.

Nuevos modelos

Cuatro modelos de acción del mundo (world action models), que predicen a la vez el vídeo futuro y las siguientes acciones, se incorporan a la biblioteca:

- Cosmos 3 de NVIDIA, en un tamaño Nano de 16,5 mil millones y uno Edge de 4,6 mil millones. El equipo informa de un éxito medio del 97,90 % y del 97,95 % en LIBERO, y ambos pueden ajustarse por completo o con LoRA. - FLUX 3 Action de Black Forest Labs. LeRobot ejecuta la inferencia y el ajuste fino con LoRA; para entrenar un nuevo embodiment se usa el repositorio propio de Black Forest Labs, flux-action. - LaWAM del equipo RLinf, que aprende la dinámica en un espacio latente. - Long-WAM del equipo LongLive de NVIDIA, diseñado para contextos largos.

También llegan cuatro modelos de visión-lenguaje-acción: G0.5 de OpenGalaxea, que escribe su subtarea actual antes de sus acciones; LingBot-VLA 2.0 de Robbyant; DM0.5 de Dexmal, adaptado desde OpenDM; y Wall-OSS-0.5 de X Square Robot.

Entrenamiento y datos a escala

- FSDP1 se sustituye por FSDP2 y fragmentación HSDP, acumulación de gradientes y checkpoints distribuidos. En un nodo 8×H200 con un modelo de 6 mil millones, el equipo midió que los checkpoints se guardan 3 veces más rápido y que el pico de memoria al reanudar baja de 143 GB a 42 GB por GPU (documentación multi-GPU). - El entrenamiento incorpora precisión mixta FP16, una media móvil opcional de los pesos (EMA) y Trackio, el tracker de código abierto de Hugging Face, que sustituye por completo a Weights & Biases. - El aumento de imágenes puede ejecutarse en la GPU; el equipo midió un entrenamiento de ACT 2,8 veces más rápido en una H100 y 3,3 veces en una A100. - El entrenamiento desde el Hub sin descarga (nuestra noticia) y desde tablas de LanceDB (nuestra noticia) están ambos en esta versión.

Inferencia remota, simulación y hardware

- lerobot-policy-server ejecuta el modelo en una máquina con GPU mientras un portátil o un ordenador de placa única junto al robot se encarga de las cámaras, los motores y la grabación. El robot sigue acciones almacenadas en búfer mientras el servidor calcula el siguiente fragmento, a través de Zenoh (documentación). - Todos los simuladores se ejecutan ahora a través de un mismo núcleo, dentro del proceso o en su propia imagen de Docker detrás de lerobot-env-server, de modo que los simuladores ya no se pelean por las versiones de las dependencias. El primer benchmark sobre él es RoboLab de NVIDIA, 120 tareas de mesa para la configuración Franka de DROID en Isaac Lab. lerobot-eval informa ahora de un intervalo de confianza del 95 % con cada tasa de éxito. - Hardware: uno o dos brazos YAM de I2RT; el reBot B601 con motores RobStride además de Damiao; y el Unitree G1 ejecutando el decodificador del controlador de cuerpo completo SONIC de NVIDIA, que cubrimos anteriormente, además del G1 de 23 DoF.

Antes de actualizar

- En Linux, torch viene ahora de PyPI como una compilación para CUDA 13 que necesita el driver de NVIDIA 580.65 o posterior; con un driver más antiguo, instala primero torch desde un índice de CUDA 12 (guía de instalación). macOS necesita la versión 14 o posterior. - Las opciones --wandb. pasan a ser --trackio., y los checkpoints ya no se suben como artefactos por defecto. - Los checkpoints de FSDP guardados con la 0.6 o anteriores no se pueden reanudar, aunque sus pesos siguen cargándose. - lerobot[async] y lerobot.async_inference desaparecen; instala lerobot[remote] en su lugar. - Los motores Feetech y Dynamixel comparten ahora un mismo bus basado en rustypot. Los nombres de clase antiguos siguen funcionando como alias obsoletos, y los archivos de calibración no cambian. - --policy.use_peft=true entrena ahora con LoRA; antes ejecutaba silenciosamente un ajuste fino completo.

Por qué importa

LeRobot es el punto de encuentro de muchas políticas, conjuntos de datos y brazos robóticos abiertos, así que lo que admite decide lo que la mayoría de los montajes de aficionados y laboratorios pueden probar sin escribir su propio código de unión. Esta versión lleva las familias de modelos más recientes, entre ellas los modelos de mundo y acción, a los mismos comandos de entrenamiento y rollout que las políticas anteriores, y gracias a la inferencia remota un ordenador pequeño en el robot ya no limita qué modelo puede ejecutar. Los cambios incompatibles importan igual: quien tenga una instalación 0.6 que funcione debería leer las notas de actualización antes de actualizar.

Puntos clave

LeRobot v0.7.0 salió el 5 de noviembre, tres meses después de v0.6.1.
Los rollouts interactivos ya están en una versión: cambiar la instrucción de una política en marcha, preguntarle qué ve o darle un objetivo.
Se admiten cuatro modelos de mundo y acción (Cosmos 3, FLUX 3 Action, LaWAM, Long-WAM) y cuatro VLA (G0.5, LingBot-VLA 2.0, DM0.5, Wall-OSS-0.5).
lerobot-policy-server ejecuta el modelo en una máquina con GPU mientras el ordenador del propio robot se encarga de las cámaras y los motores.
La actualización cambia la instalación (compilaciones CUDA 13), sustituye Weights & Biases por Trackio y pasa los motores Feetech y Dynamixel a un único bus rustypot.

Aspecto de código abierto

LeRobot tiene licencia Apache-2.0, pero los modelos que ahora carga tienen condiciones distintas: LingBot-VLA 2.0 es Apache-2.0 y los checkpoints de Cosmos 3 usan la licencia OpenMDW 1.1, mientras que G0.5 es no comercial, DM0.5 y FineART-VLA se rigen por las condiciones de Gemma y FLUX 3 Action exige solicitar acceso bajo la licencia propia de Black Forest Labs, FLUX Kommunity License. Revisa la ficha del modelo antes de construir sobre un checkpoint.

Tecnologías relacionadas

World action models
Vision-language-action models
FSDP2
Remote inference
Zenoh

Proyectos relacionados

Enlaces

Fuente: https://huggingface.co/blog/lerobot/lerobot-release-v070