Open X-Embodiment (OXE)

Il più grande dataset robotico aperto: oltre 1 milione di episodi da 22 embodiment

Licenza

CC-BY-4.0

Panoramica

Il più grande dataset robotico open source, con oltre 1 milione di episodi robotici da 22 embodiment robotici, raccolti in 34 laboratori di ricerca di tutto il mondo. Contiene 60 dataset che coprono 527 abilità per addestrare policy robotiche generaliste.

Open X-Embodiment è il più grande dataset robotico disponibile pubblicamente: riunisce oltre un milione di episodi di manipolazione su robot reali, raccolti su 22 diversi embodiment robotici da 34 istituti di ricerca di tutto il mondo. Il dataset comprende 60 dataset distinti che coprono 527 diverse abilità di manipolazione, offrendo una varietà senza precedenti di morfologie robotiche, compiti e condizioni operative. Questa enorme raccolta rende possibile la ricerca sull'apprendimento cross-embodiment, in cui policy addestrate su dati di più tipi di robot possono generalizzare a nuove piattaforme e nuovi compiti. Il formato dei dati standardizzato facilita il preaddestramento su larga scala di foundation model per la robotica, sostenendo la ricerca su sistemi di manipolazione general-purpose. Unendo i contributi di decine di laboratori in un'unica risorsa, Open X-Embodiment affronta la scarsità di dati che ha storicamente limitato la ricerca sul machine learning per la robotica.

Perché è importante

Open X-Embodiment è il più grande sforzo collaborativo nella raccolta di dati robotici: riunisce 34 laboratori di ricerca per creare un dataset che consente di addestrare policy robotiche general-purpose. Ha dimostrato che l'addestramento cross-embodiment può migliorare le prestazioni rispetto alle policy addestrate su un singolo dataset.

Il problema che risolve

I singoli laboratori di robotica raccolgono piccoli dataset su robot specifici, il che rende impossibile addestrare policy general-purpose. OXE riunisce dati di manipolazione diversificati su una scala senza precedenti, dimostrando che l'addestramento cross-embodiment trasferisce conoscenza tra morfologie robotiche diverse.

Punti chiave

Oltre 1 milione di episodi su robot reali da 22 diversi embodiment robotici
Raccolto in 34 istituti di ricerca di tutto il mondo, su 527 abilità
I modelli RT-X addestrati su OXE superano gli specialisti addestrati su un singolo dataset
Il formato dei dati standardizzato (RLDS) facilita l'integrazione di nuovi dataset
Base della policy generalista RT-2-X di Google DeepMind

A chi si rivolge

Ricercatori di robotica che addestrano foundation model
Laboratori che costruiscono policy di manipolazione generaliste
Team che sviluppano modelli VLA (Vision-Language-Action)
Aziende che portano l'apprendimento robotico oltre le demo a compito singolo

Limiti

Fortemente sbilanciato verso compiti di manipolazione da tavolo
Qualità e coerenza delle etichette variano tra i laboratori che contribuiscono
Addestrare sull'intero dataset richiede notevoli risorse di calcolo
Il trasferimento al mondo reale richiede ancora un adattamento di dominio per ogni robot