LeRobot trainiert jetzt direkt aus LanceDB-Tabellen im Objektspeicher
- Quelle: Hugging Face and LanceDB
- Autor: Open Source Robotics
- Veröffentlicht: 2026-09-24
- Kategorie: research
Die Datensatzschicht von LeRobot liest LanceDB-Tabellen jetzt nativ, sodass das Training mit vollständigem globalem Shuffle aus dem Objektspeicher streamen kann, statt zuerst herunterzuladen. Auf ganz DROID war der entfernte Lauf 33 Minuten schneller als eine lokale Kopie, bei identischem Loss. Die Unterstützung liegt im Main-Branch von LeRobot, aber noch in keinem Release.
Korrektur — 29. Oktober 2026. Eine frühere Version dieses Artikels gab für DROID rund 27,6 Millionen Frames an. Der verlinkte Beitrag nennt diese Zahl nicht, daher wurde sie entfernt.
---
LeRobot kann jetzt direkt aus Datensätzen trainieren, die als LanceDB-Tabellen gespeichert sind, und liest dabei aus dem Object Storage nur die Bytes, die jeder Batch benötigt, statt den Datensatz zuerst herunterzuladen. Ingenieure von Hugging Face und LanceDB stellten die Integration am 24. September vor, einen Monat nachdem die Unterstützung selbst am 28. August in den Main-Branch von LeRobot gemergt wurde. Lance ist das erste alternative Speicherformat, das die Datensatzschicht von LeRobot nativ liest, und am Aufzeichnungs- oder Trainingscode muss sich nichts ändern: Der bestehende Befehl lerobot-train wird auf eine Lance-Tabelle gerichtet und wählt den passenden Loader selbst aus.
Praktisch bedeutet das: Ein Datensatz, der zu groß ist, um ihn auf jede Trainingsmaschine zu kopieren, kann bleiben, wo er ist. Mit einem Hugging Face Storage Bucket als Quelle verarbeitete ein SmolVLA-Trainingslauf auf zwei H100 aus dem Bucket dieselben 212 Samples pro Sekunde wie aus einer lokalen NVMe-Kopie, mit identischer Loss-Kurve. Der größere Test umfasste den gesamten DROID-Datensatz — 369 GB Video —, gelesen aus einem entfernten Object Store mit globalem Shuffle über alle Frames. Bei zwei ansonsten identischen Läufen mit 10.000 Schritten auf acht H100 war der LanceDB-Lauf nach 1 Stunde 27 Minuten fertig, gegenüber 2 Stunden für den Standard-Reader auf einer lokalen Kopie, die zuvor einen Download von 384 GB erforderte. Der Standardlauf verbrachte 37 Prozent seiner Zeit mit Warten auf Daten, der LanceDB-Lauf weniger als 2 Prozent. Der finale Loss stimmte auf vier Nachkommastellen überein.
Die zweite Hälfte der Argumentation betrifft die Kuratierung. Da die Trainingsdaten bereits eine LanceDB-Tabelle sind, können Embeddings, abgeleitete Scores und Volltextindizes als Spalten in denselben Zeilen liegen, die der Trainer liest. Die Daten zu durchsuchen und zu filtern heißt also nicht, sie in eine separate Vektordatenbank zu exportieren. Die Autoren erzeugten mit SigLIP2 Embeddings für 610.403 DROID-Frames und nutzten kombinierte visuelle und SQL-Abfragen, um Verhalten ohne Label aufzuspüren — Frames, in denen in verschiedenen Haushalten Stoff bewegt wird, ohne dass der Aufgabentext dies je erwähnt. Episoden lassen sich direkt aus der Tabelle in Foxglove untersuchen.
Ein vollständiger Durchlauf über DROID förderte drei Befunde zutage, die man kennen sollte, egal womit man trainiert: Der Idle-Filter in OpenPI entfernt 11,66 Prozent des Datensatzes und codiert die resultierende Länge fest, statt sie zu berechnen; der Standard-Split 80/20 platziert jedes Gebäude und jeden Datensammler sowohl im Trainings- als auch im Validierungsset, sodass Daten durchsickern; und erfolgreiche Episoden erwiesen sich als ruckartiger als fehlgeschlagene, was bedeutet, dass der übliche Glattheitsfilter gute Daten verwerfen würde. Auf LIBERO, wo sich der Erfolg in der Simulation messen lässt, wurden 30 Prozent der Demonstrationen absichtlich verfälscht und anschließend mit drei Tabellenabfragen wieder entfernt; die so gewonnene Policy war besser als das Training auf dem unbereinigten Datensatz.
Zwei Punkte sollte man klar sehen. Der native Reader ist im Main-Branch von LeRobot, aber noch in keinem getaggten Release — das neueste, v0.6.1, ist älter — und erfordert daher derzeit eine Installation aus dem Quellcode. Und der Schritt, der eine berechnete Spalte hinzufügt, ohne die Daten neu zu schreiben, und auf dem der Kuratierungs-Workflow beruht, wird als Funktion von LanceDB Enterprise beschrieben; der Open-Source-Reader und das Lance-Format sind das, wovon LeRobot selbst abhängt. Die Autoren haben eine interaktive Demo veröffentlicht, die diese Abfragen auf der vollständigen DROID-Tabelle ausführt.
Warum es wichtig ist
Datensätze für das Roboterlernen sind der Gewohnheit entwachsen, sie auf jede Trainingsmaschine zu kopieren: DROID allein umfasst mehrere hundert Gigabyte Video. Aus dem Objektspeicher zu streamen, ohne GPU-Durchsatz oder Shuffle-Qualität einzubüßen, beseitigt diesen Kopierschritt, und Suche, Scores und Embeddings auf derselben Tabelle zu halten, die der Trainer liest, macht aus der Kuratierung eine Abfrage statt einer Export-Pipeline. Die Befunde aus einem einzigen Scan von DROID — eine leckende Standardaufteilung, ein Qualitätsfilter, der in die falsche Richtung zeigt — zeigen, warum es sich lohnt, Kuratierung billig zu machen.
Wichtigste Punkte
- LeRobot liest als LanceDB-Tabellen gespeicherte Datensätze jetzt nativ; Aufnahme- und Trainingscode bleiben unverändert, lerobot-train wählt den Loader selbst
- Training kann mit globalem Shuffle über jeden Frame und ohne Download aus einem Hugging Face Storage Bucket oder einem anderen Objektspeicher streamen
- Auf ganz DROID endete ein entfernter LanceDB-Lauf nach 1 h 27 min gegenüber 2 h für einen Lauf mit lokaler Kopie, bei identischem Loss und 1,7 % statt 37,4 % Wartezeit auf Daten
- Embeddings, Scores und Indizes können als Spalten auf der Trainingstabelle liegen, Kuratierung und Mining sind also Abfragen statt Exporte
- Ein Scan von DROID fand eine leckende Standardaufteilung in Training und Validierung und einen Glattheitsfilter, der gute Daten entfernt
- Die Unterstützung liegt im Main-Branch von LeRobot, aber noch in keinem getaggten Release, und das für die Kuratierung genutzte Nachfüllen von Spalten ist eine Funktion von LanceDB Enterprise
Open-Source-Bezug
Die Integration steckt in LeRobot selbst, unter dessen Apache-2.0-Lizenz, am 28. August in den Main-Branch übernommen, und das Lance-Format, das sie liest, ist quelloffen. Beobachten sollte man die Grenze zwischen dem und dem kommerziellen Angebot von LanceDB: Eine berechnete Spalte hinzuzufügen, ohne eine Tabelle neu zu schreiben — der Schritt, auf dem der Kuratierungsablauf aufbaut —, wird als Funktion von LanceDB Enterprise dargestellt. Das Training aus Lance-Tabellen und ihre Abfrage hängen nicht davon ab.
Verwandte Technologien
- LeRobot
- LanceDB
- Lance
- SmolVLA
- DROID
- Foxglove
- Hugging Face Storage Buckets
Links
- Quelle: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition