Open X-Embodiment (OXE)

Größter offener Robotik-Datensatz: 1M+ Episoden von 22 Verkörperungen

Lizenz

CC-BY-4.0

Überblick

Größter Open-Source-Robotik-Datensatz mit über 1M Roboter-Episoden von 22 Roboter-Verkörperungen, gesammelt in 34 Forschungslaboren weltweit. Enthält 60 Datensätze mit 527 Fähigkeiten zum Trainieren generalistischer Roboter-Policies.

Open X-Embodiment ist der größte öffentlich verfügbare Robotik-Datensatz und bündelt über eine Million Manipulationsepisoden realer Roboter, die mit 22 verschiedenen Roboter-Embodiments an 34 Forschungseinrichtungen weltweit gesammelt wurden. Der Datensatz umfasst 60 einzelne Datensätze mit 527 verschiedenen Manipulationsfähigkeiten und bietet eine beispiellose Vielfalt an Robotermorphologien, Aufgaben und Einsatzbedingungen. Diese umfangreiche Sammlung ermöglicht Forschung zum Cross-Embodiment-Lernen, bei dem Policies, die auf Daten mehrerer Robotertypen trainiert wurden, auf neue Plattformen und Aufgaben generalisieren können. Das standardisierte Datenformat erleichtert groß angelegtes Pretraining von Foundation Models für die Robotik und unterstützt die Forschung an universellen Manipulationssystemen. Indem Open X-Embodiment die Beiträge Dutzender Labore zu einer einheitlichen Ressource zusammenführt, begegnet es der Datenknappheit, die die Forschung zum maschinellen Lernen in der Robotik bislang begrenzt hat.

Warum es wichtig ist

Open X-Embodiment ist die größte Gemeinschaftsinitiative zur Datenerhebung in der Robotik: 34 Forschungslabore haben gemeinsam einen Datensatz geschaffen, mit dem sich universelle Roboter-Policies trainieren lassen. Das Projekt hat gezeigt, dass Cross-Embodiment-Training die Leistung gegenüber Policies verbessern kann, die auf einem einzelnen Datensatz trainiert wurden.

Welches Problem es löst

Einzelne Robotiklabore sammeln kleine Datensätze auf bestimmten Robotern, was das Training universeller Policies unmöglich macht. OXE bündelt vielfältige Manipulationsdaten in beispiellosem Umfang und belegt, dass Cross-Embodiment-Training Wissen zwischen unterschiedlichen Robotermorphologien überträgt.

Wichtigste Punkte

• Über 1 Million Episoden realer Roboter von 22 verschiedenen Roboter-Embodiments
• Gesammelt an 34 Forschungseinrichtungen weltweit mit 527 Fähigkeiten
• Auf OXE trainierte RT-X-Modelle übertreffen auf einzelne Datensätze spezialisierte Modelle
• Standardisiertes Datenformat (RLDS) ermöglicht die einfache Integration neuer Datensätze
• Grundlage der Generalist-Policy RT-2-X von Google DeepMind

Für wen

• Robotikforschende, die Foundation Models trainieren
• Labore, die universelle Manipulations-Policies entwickeln
• Teams, die VLA-Modelle (Vision-Language-Action) entwickeln
• Unternehmen, die Roboterlernen über Einzelaufgaben-Demos hinaus skalieren

Einschränkungen

• Stark auf Manipulationsaufgaben am Tisch ausgerichtet
• Qualität und Konsistenz der Annotationen variieren zwischen den beitragenden Laboren
• Training auf dem vollständigen Datensatz erfordert erhebliche Rechenleistung
• Der Transfer in die reale Welt erfordert weiterhin Domain Adaptation pro Roboter