LeRobot 0.7.0 bringt World-Action-Modelle, Remote-Inferenz und einen neu gebauten Trainings-Stack
- Quelle: Hugging Face (LeRobot team)
- Autor: Open Source Robotics
- Veröffentlicht: 2026-11-05
- Kategorie: research
Hugging Face hat LeRobot v0.7.0 am 5. November veröffentlicht. Die Version bringt interaktive Rollouts in ein Release, unterstützt vier World-Action-Modelle und vier Vision-Language-Action-Modelle, baut das Training für Modelle mit mehreren Milliarden Parametern neu auf und lässt einen Roboter seine Policy auf einer entfernten GPU ausführen. Das Upgrade von 0.6 ändert die Installation, das Experiment-Tracking und die Motortreiber.
LeRobot, die quelloffene Bibliothek für Roboterlernen von Hugging Face, hat am 5. November v0.7.0 veröffentlicht, drei Monate nach v0.6.1. Der Release-Beitrag des Teams beschreibt sie als Arbeit an beiden Enden des Lebens einer Policy: Training auf Terabytes von Demonstrationen, ohne sie vorher herunterzuladen, und die Kommunikation mit dem Roboter, sobald die Policy läuft. Außerdem werden Installation, Training, Inferenz und die Hardwareschicht neu aufgebaut, sodass ein Upgrade von 0.6 einige Änderungen erfordert (siehe letzten Abschnitt).
Mit einer laufenden Policy sprechen
Interaktive Rollouts, über die wir berichtet haben, als sie im Hauptzweig ankamen, sind jetzt Teil eines Releases. Fügen Sie --interactive=true zu lerobot-rollout hinzu, und Roboter, Policy und Prozessoren bleiben geladen: /subtask ändert die Anweisung, während sich der Arm bewegt, /vqa fragt die Policy, was sie sieht, und /autosteer gibt ihr ein Ziel, sodass sie ihre Teilaufgaben selbst wählt. Die letzten beiden brauchen eine Policy, die Text schreibt, etwa FineART-VLA, trainiert auf dem Datensatz FineART, oder Wall-OSS-0.5 oder ein externes Vision-Language-Modell hinter einer OpenAI-kompatiblen API.
Neue Modelle
Vier World Action Models, die zukünftiges Video und die nächsten Aktionen gemeinsam vorhersagen, kommen in die Bibliothek:
- Cosmos 3 von NVIDIA, in den Größen Nano mit 16,5B und Edge mit 4,6B. Das Team berichtet 97,90 % und 97,95 % durchschnittlichen Erfolg auf LIBERO, und beide lassen sich vollständig oder mit LoRA feinjustieren. - FLUX 3 Action von Black Forest Labs. LeRobot führt Inferenz und LoRA-Feinjustierung aus; das Training eines neuen Embodiments nutzt das eigene Repository flux-action von Black Forest Labs. - LaWAM vom RLinf-Team, das Dynamik in einem latenten Raum lernt. - Long-WAM vom LongLive-Team von NVIDIA, für langen Kontext gebaut.
Auch vier Vision-Language-Action-Modelle kommen hinzu: G0.5 von OpenGalaxea, das seine aktuelle Teilaufgabe vor seinen Aktionen ausschreibt; LingBot-VLA 2.0 von Robbyant; DM0.5 von Dexmal, portiert aus OpenDM; und Wall-OSS-0.5 von X Square Robot.
Training und Daten in großem Maßstab
- FSDP1 wird durch FSDP2 und HSDP-Sharding, Gradientenakkumulation und verteilte Checkpoints ersetzt. Auf einem 8×H200-Knoten mit einem 6B-Modell hat das Team gemessen, dass Checkpoints 3-mal schneller gespeichert werden und die Speicherspitze beim Fortsetzen von 143 GB auf 42 GB pro GPU sinkt (Multi-GPU-Dokumentation). - Das Training erhält FP16-Mixed-Precision, einen optionalen gleitenden Mittelwert der Gewichte (EMA) und Trackio, den quelloffenen Tracker von Hugging Face, der Weights & Biases vollständig ersetzt. - Bildaugmentierung kann auf der GPU laufen; das Team hat gemessen, dass ACT-Training auf einer H100 2,8-mal und auf einer A100 3,3-mal schneller ist. - Training vom Hub ohne Download (unser Bericht) und aus LanceDB-Tabellen (unser Bericht) sind beide Teil des Releases.
Remote-Inferenz, Simulation und Hardware
- lerobot-policy-server führt das Modell auf einem GPU-Rechner aus, während ein Laptop oder Einplatinencomputer neben dem Roboter Kameras, Motoren und Aufzeichnung übernimmt. Der Roboter folgt gepufferten Aktionen, während der Server den nächsten Chunk berechnet, über Zenoh (Dokumentation). - Jeder Simulator läuft jetzt über einen gemeinsamen Kern, im selben Prozess oder in einem eigenen Docker-Image hinter lerobot-env-server, sodass Simulatoren nicht mehr um Abhängigkeitsversionen konkurrieren. Der erste Benchmark darauf ist RoboLab von NVIDIA, 120 Tischaufgaben für den DROID-Franka-Aufbau auf Isaac Lab. lerobot-eval gibt jetzt zu jeder Erfolgsquote ein 95-%-Konfidenzintervall an. - Hardware: ein oder zwei YAM-Arme von I2RT; der reBot B601 mit RobStride- sowie Damiao-Motoren; und der Unitree G1 mit dem Decoder des Ganzkörper-Controllers SONIC von NVIDIA, über den wir bereits berichtet haben, sowie der G1 mit 23 DoF.
Vor dem Upgrade
- Unter Linux kommt torch jetzt von PyPI als CUDA-13-Build, der NVIDIA-Treiber 580.65 oder neuer benötigt; mit einem älteren Treiber installieren Sie torch zuerst aus einem CUDA-12-Index (Installationsanleitung). macOS benötigt Version 14 oder neuer. - Aus den Optionen --wandb. werden --trackio., und Checkpoints werden standardmäßig nicht mehr als Artefakte hochgeladen. - Mit 0.6 oder früher gespeicherte FSDP-Checkpoints lassen sich nicht fortsetzen, ihre Gewichte werden aber weiterhin geladen. - lerobot[async] und lerobot.async_inference entfallen; installieren Sie stattdessen lerobot[remote]. - Feetech- und Dynamixel-Motoren teilen sich jetzt einen gemeinsamen Bus auf Basis von rustypot. Die alten Klassennamen funktionieren weiterhin als veraltete Aliase, und die Kalibrierungsdateien bleiben unverändert. - --policy.use_peft=true trainiert jetzt LoRA; bisher lief stillschweigend eine vollständige Feinjustierung.
Warum es wichtig ist
LeRobot ist der Ort, an dem viele offene Roboter-Policies, Datensätze und Arme zusammenkommen. Was die Bibliothek unterstützt, entscheidet daher, was die meisten Hobby- und Laboraufbauten ausprobieren können, ohne eigenen Verbindungscode zu schreiben. Dieses Release bringt die neuesten Modellfamilien, darunter World-Action-Modelle, in dieselben Trainings- und Rollout-Befehle wie ältere Policies, und dank Remote-Inferenz begrenzt ein kleiner Roboterrechner nicht mehr, welches Modell er ausführen kann. Die inkompatiblen Änderungen sind genauso wichtig: Wer ein funktionierendes 0.6-Setup hat, sollte vor dem Update die Upgrade-Hinweise lesen.
Wichtigste Punkte
- LeRobot v0.7.0 ist am 5. November erschienen, drei Monate nach v0.6.1.
- Interaktive Rollouts sind jetzt in einem Release: die Anweisung einer laufenden Policy ändern, fragen, was sie sieht, oder ihr ein Ziel geben.
- Vier World-Action-Modelle (Cosmos 3, FLUX 3 Action, LaWAM, Long-WAM) und vier VLAs (G0.5, LingBot-VLA 2.0, DM0.5, Wall-OSS-0.5) werden unterstützt.
- lerobot-policy-server führt das Modell auf einem GPU-Rechner aus, während der eigene Rechner des Roboters Kameras und Motoren übernimmt.
- Das Upgrade ändert die Installation (CUDA-13-Builds), ersetzt Weights & Biases durch Trackio und stellt Feetech- und Dynamixel-Motoren auf einen gemeinsamen rustypot-Bus um.
Open-Source-Bezug
LeRobot selbst steht unter Apache-2.0, doch die Modelle, die es jetzt lädt, haben unterschiedliche Bedingungen: LingBot-VLA 2.0 ist Apache-2.0 und die Cosmos-3-Checkpoints nutzen die Lizenz OpenMDW 1.1, während G0.5 nicht kommerziell ist, DM0.5 und FineART-VLA den Bedingungen von Gemma unterliegen und FLUX 3 Action einen Zugangsantrag unter der eigenen FLUX Kommunity License von Black Forest Labs erfordert. Vor dem Aufbau auf einem Checkpoint die Model Card prüfen.
Verwandte Technologien
- World action models
- Vision-language-action models
- FSDP2
- Remote inference
- Zenoh
Verwandte Projekte
Links
- Quelle: https://huggingface.co/blog/lerobot/lerobot-release-v070