Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

FiftyOne liest LeRobot-Datensätze jetzt direkt, mit Suche über alle Episoden

  • Quelle: Voxel51 and Hugging Face
  • Autor: Open Source Robotics
  • Veröffentlicht: 2026-10-05
  • Kategorie: research

FiftyOne, das Open-Source-Werkzeug von Voxel51 zur Kuratierung von Datensätzen, öffnet LeRobot-v3-Datensätze jetzt, ohne sie zu konvertieren oder Videos zu kopieren. Jede Episode lässt sich mit Kameras, Zuständen und Aktionen synchron abspielen, dann filtern, per Text oder Ähnlichkeit durchsuchen und als neuer LeRobot-Datensatz exportieren. Gelesen wird nur v3; der Loader kam mit FiftyOne 1.22.0.

FiftyOne, das Open-Source-Werkzeug von Voxel51 zur Kuratierung von Datensätzen, öffnet LeRobot-v3-Datensätze jetzt so, wie sie sind. Man zeigt auf einen Datensatzordner, und jede Episode wird zu einem Sample, das sich abspielen, filtern und durchsuchen lässt, ohne Formatkonvertierung und ohne dass ein Video neu kodiert oder kopiert wird. Ingenieure von Voxel51 und Hugging Face haben die Unterstützung am 5. Oktober beschrieben; der Loader selbst erschien am 12. September mit FiftyOne 1.22.0 und steht in den Release Notes als neuer Typ LeRobotDataset mit Episoden-Viewer.

Wie eine Episode aussieht

Beim Import werden nur die Metadaten des Datensatzes gelesen. Jedes Sample ist ein Verweis: auf die Zeilen der Parquet-Dateien mit den Zuständen und Aktionen der Episode und auf das Zeitfenster im MP4 jeder Kamera. In der App erhält jede Kamera eine eigene Kachel, und eine Kachel „State & Action“ zeigt den Wert jedes Gelenks Bild für Bild, synchron zum Video. Robotertyp, Aufgabe, Dauer und Bildrate jeder Episode werden zu normalen Feldern, sodass „alle SO-101-Episoden über zehn Sekunden“ ein Filter ist und kein Skript. Die FiftyOne-Dokumentation beschreibt Import und Felder.

Das durchgerechnete Beispiel

Zur Ankündigung gehört ein Beispieldatensatz mit 497 Episoden, ein Ausschnitt aus dem LeRobot Community Dataset v3: rund zehn Episoden von jedem der 50 Robotertypen. Jede Episode trägt ein Video-Embedding von Qwen3-VL-Embedding-2B, berechnet aus bis zu 32 gleichmäßig verteilten Bildern. Darauf beruht die Kuratierung: Episoden per Textbeschreibung suchen, die ähnlichsten Episoden zu einer gewählten finden und jede Episode danach bewerten, wie ungewöhnlich oder wie typisch sie ist, damit sich Beinahe-Duplikate und Ausreißer vor dem Training finden lassen.

Die Daten wieder herausbekommen

Eine gefilterte Auswahl gelangt auf drei Wegen ins Training: die Zeilen über den Verweis an Ort und Stelle lesen, die gewählten Episodennummern an LeRobots eigenen LeRobotDataset-Loader übergeben oder die Auswahl als neuen, eigenständigen LeRobot-v3-Datensatz exportieren. Nur der Export kopiert Daten.

Was man zuerst prüfen sollte

- Gelesen wird nur LeRobot v3; ältere Datensätze müssen zuerst mit LeRobots eigenen Werkzeugen konvertiert werden. - Samples verweisen auf die Quelldateien; ein verschobener oder geänderter Datensatz muss neu importiert werden. - Episodennummern beginnen in jedem Quelldatensatz wieder bei null. Werden mehrere Datensätze zusammen geladen, vor Export oder Training nach Datensatzname filtern und je Quelldatensatz einzeln exportieren, weil sich ihre Schemata unterscheiden. - Das direkte Laden eines LeRobot-Datensatzes vom Hugging Face Hub brauchte einen Fix, der am 5. Oktober gemergt wurde, nach dem letzten Release (1.22.1); bis zur nächsten Version ist ein lokaler Ordner der sichere Weg.

Warum es wichtig ist

Die meisten Datensätze für Roboterlernen werden nach ihrer Größe beurteilt, weil der Blick hinein langsam ist: Tausende Episoden, jeweils mehrere Kameras, und kein schneller Weg zu sehen, welche Beinahe-Kopien sind, welche defekt sind und welche etwas Seltenes zeigen. Ein Werkzeug, das das LeRobot-Format an Ort und Stelle liest, jede Episode mit ihren Gelenkwerten abspielt und Episoden danach ordnet, wie typisch oder ungewöhnlich sie sind, macht die Prüfung so billig, dass sie vor jedem Trainingslauf möglich ist. Es gibt den Community-Datensätzen, die auf günstigen Armen aufgenommen wurden, dieselben Kuratierungswerkzeuge, die Bilddatensätze seit Jahren haben.

Wichtigste Punkte

  • FiftyOne ab 1.22.0 lädt LeRobot-v3-Datensätze mit einem Aufruf; beim Import wird nichts konvertiert, neu kodiert oder kopiert
  • Jede Episode ist ein Sample: Jede Kamera läuft in einer eigenen Kachel, Gelenkzustände und Aktionen erscheinen Bild für Bild synchron zum Video
  • Robotertyp, Aufgabe, Dauer und Bildrate sind abfragbare Felder; Episoden auszuwählen ist ein Filter und kein Skript
  • Mit Video-Embeddings lassen sich Episoden per Text suchen, ähnlichen Episoden zuordnen und als ungewöhnlich oder typisch bewerten
  • Eine Auswahl geht an Ort und Stelle, über LeRobots eigenen Loader oder als exportierter LeRobot-v3-Datensatz zurück ins Training
  • Unterstützt wird nur v3, und das Laden vom Hugging Face Hub braucht einen Fix, der nach Release 1.22.1 gemergt wurde

Open-Source-Bezug

FiftyOne ist Open Source unter Apache-2.0, und die LeRobot-Unterstützung steckt in diesem Open-Source-Paket, nicht hinter Voxel51s kommerziellem Produkt FiftyOne Enterprise. Der Beispieldatensatz ist unter Apache-2.0 auf dem Hugging Face Hub veröffentlicht und stützt sich auf Aufnahmen, die die LeRobot-Community beigetragen hat. Die Release Notes führen das Laden von LeRobot-Datensätzen aus Cloud-Speicher allerdings gesondert auf; diesen Teil sollte man mit der Funktionsliste von Enterprise abgleichen, bevor man darauf plant.

Verwandte Technologien

  • FiftyOne
  • LeRobot
  • LeRobot dataset v3
  • Qwen3-VL-Embedding
  • Parquet
  • Hugging Face Hub

Verwandte Projekte

  • LeRobot

Links

  • Quelle: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.