Octo: An Open-Source Generalist Robot Policy
Autori: Octo Model Team, Dibya Ghosh, Homer Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Lawrence Yunliang Chen, Pannag Sanketi, Quan Vuong, Ted Xiao, Dorsa Sadigh, Chelsea Finn, Sergey Levine · RSS 2024
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
La prima policy robotica generalista open source addestrata su 800k traiettorie, con condizionamento tramite linguaggio e immagini obiettivo su 9 piattaforme e un fine-tuning efficiente su GPU consumer.
Perché è importante
Octo ha dimostrato che le policy robotiche generaliste open source sono praticabili e utili. Rilasciando una baseline solida e modulare che chiunque può sottoporre a fine-tuning su hardware consumer, ha abbassato la barriera d'ingresso all'apprendimento robotico cross-embodiment e ha fissato lo standard per il modo in cui la comunità condivide i foundation model per la manipolazione e costruisce su di essi.
Problema
Gli approcci esistenti di apprendimento robotico addestrano da zero policy specifiche per il compito, il che è costoso e non generalizza. Costruire una policy robotica generalista richiede di gestire sensori, spazi delle azioni e piattaforme diversi restando facile da sottoporre a fine-tuning, e non esisteva alcuna soluzione open source.
Soluzione proposta
Octo è una grande policy basata su Transformer addestrata su 800k traiettorie del dataset Open X-Embodiment. Usa un'architettura modulare con token di readout e una testa di azione a diffusione, che le permette di accettare istruzioni in linguaggio naturale o tramite immagini obiettivo e di adattarsi a nuovi input sensoriali e spazi delle azioni tramite un fine-tuning efficiente su GPU consumer.
Idee chiave
- Una singola policy Transformer addestrata su 800k traiettorie diversificate può generalizzare su 9 diverse piattaforme robotiche, a dimostrazione che il trasferimento cross-embodiment è praticabile su larga scala
- L'architettura modulare con una testa di azione a diffusione consente un adattamento flessibile a nuove modalità sensoriali e spazi delle azioni senza riaddestrare da zero
- Il fine-tuning su GPU consumer richiede solo poche ore, rendendo le policy generaliste accessibili ai laboratori senza enormi budget di calcolo
- Il co-addestramento su fonti di dati diversificate supera in modo costante l'addestramento su dati di un solo dominio, anche quando la valutazione avviene su quello specifico dominio
- Rendere open source sia i pesi del modello sia il codice di addestramento ha innescato una rapida adozione da parte della comunità e la ricerca successiva sulle policy robotiche generaliste
Risultati principali
- Inizializzazione di policy efficace su 9 piattaforme robotiche con spazi di osservazione e di azione diversi
- Fine-tuning su nuove configurazioni robotiche realizzabile in poche ore su GPU consumer standard
- Supera l'addestramento da zero quando è sottoposta a fine-tuning con pochi dati del dominio sulla maggior parte delle piattaforme
- Dettagliati studi di ablazione mostrano che le teste di azione a diffusione superano le alternative per le distribuzioni di azioni multimodali
- Il rilascio open source con il codice completo di addestramento e di fine-tuning ha permesso una rapida adozione da parte della comunità
Limiti
- Addestrata principalmente su dati di manipolazione da tavolo: copertura limitata di compiti di locomozione, navigazione o con mani robotiche abili
- Le prestazioni dipendono molto dalla sovrapposizione tra i domini di preaddestramento e di fine-tuning; domini lontani possono richiedere più dati di adattamento
- Il modello da 93M di parametri è più piccolo di iniziative coeve (per esempio RT-2-X con 55B), il che può limitare la generalizzazione zero-shot
- L'ancoraggio linguistico è limitato rispetto ai modelli VLA che sfruttano backbone LLM completi
Impatto sul settore
Octo ha fissato il modello per le policy robotiche generaliste open source. Il suo design modulare e il rilascio pubblico hanno accelerato la ricerca sul transfer learning cross-embodiment, con centinaia di laboratori che la usano come punto di partenza per i propri sistemi di manipolazione. Ha dimostrato che i modelli open source possono competere con le alternative proprietarie, spostando il campo verso uno sviluppo collaborativo.
Abstract
Le grandi policy preaddestrate su dataset robotici diversificati hanno il potenziale di trasformare l'apprendimento robotico: invece di addestrare nuove policy da zero, queste policy robotiche generaliste possono essere sottoposte a fine-tuning con pochi dati del dominio e generalizzare comunque ampiamente. Tuttavia, per essere ampiamente applicabili a una gamma di scenari, ambienti e compiti di apprendimento robotico, queste policy devono gestire sensori e spazi delle azioni diversi, adattarsi a una varietà di piattaforme robotiche di uso comune e prestarsi a un fine-tuning facile ed efficiente su nuovi domini. In questo lavoro puntiamo a gettare le basi per sviluppare policy generaliste open source e ampiamente applicabili per la manipolazione robotica. Come primo passo, introduciamo Octo, una grande policy basata su Transformer addestrata su 800k traiettorie del dataset Open X-Embodiment, il più grande dataset di manipolazione robotica finora. Può ricevere istruzioni tramite comandi in linguaggio naturale o immagini obiettivo e può essere sottoposta efficacemente a fine-tuning su configurazioni robotiche con nuovi input sensoriali e spazi delle azioni nel giro di poche ore su GPU consumer standard. In esperimenti su 9 piattaforme robotiche, dimostriamo che Octo funge da inizializzazione di policy versatile che può essere sottoposta efficacemente a fine-tuning su nuovi spazi di osservazione e di azione. Eseguiamo inoltre dettagliati studi di ablazione delle scelte progettuali del modello Octo, dall'architettura ai dati di addestramento, per orientare la ricerca futura sulla costruzione di modelli robotici generalisti.
Link
- arXiv 2405.12213: https://arxiv.org/abs/2405.12213
- PDF: https://arxiv.org/pdf/2405.12213.pdf
- Codice: https://github.com/octo-models/octo
- Pagina del progetto: https://octo-models.github.io/