PoliFormer: Scaling On-Policy RL with Transformers Results in Masterful Navigators
Autori: Kuo-Hao Zeng, Zichen Zhang, Kiana Ehsani, Rose Hendrix, Jordi Salvador, Alvaro Herrasti, Ross Girshick, Aniruddha Kembhavi, Luca Weihs · CoRL 2024
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0.
In breve
Agente di navigazione indoor solo RGB che usa DINOv2 + Transformer causale addestrato con RL on-policy, con l'85,5% di successo su CHORES-S (miglioramento del 28,5%) e trasferimento sim-to-real zero-shot sui robot LoCoBot e Stretch.
Perché è importante
PoliFormer dimostra che la ricetta per agenti di IA incarnata capaci è semplice: combinare potenti encoder visivi preaddestrati con policy basate su Transformer e addestrare con RL on-policy su scala massiccia. Per le aziende di robotica che sviluppano prodotti di navigazione, mostra che il trasferimento sim-to-real può funzionare in modo affidabile senza una costosa raccolta di dati nel mondo reale né adattamento di dominio. L'approccio di usare foundation model visivi disponibili in commercio come encoder congelati potrebbe generalizzarsi oltre la navigazione, alla manipolazione e ad altri compiti robotici.
Problema
La navigazione dei robot in ambienti interni resta difficile perché gli agenti devono elaborare osservazioni visive grezze, mantenere una memoria spaziale su lunghi orizzonti e generalizzare ad ambienti nuovi. Gli approcci attuali usano caratteristiche progettate a mano con pianificazione classica (fragili ai cambi di aspetto) oppure apprendimento end-to-end con una scala di addestramento limitata. Nessun metodo esistente ottiene una navigazione affidabile verso oggetti obiettivo da input solo RGB con un vero trasferimento sim-to-real.
Soluzione proposta
PoliFormer combina un encoder visivo DINOv2 congelato (che fornisce caratteristiche visive robuste e generalizzabili) con un decoder Transformer causale (che fornisce memoria temporale), addestrati end-to-end con RL on-policy (DD-PPO) su 150K case ProcTHOR generate proceduralmente. L'enorme scala di addestramento e la diversità degli ambienti producono una policy che generalizza senza adattamento di dominio sim-to-real.
Idee chiave
- L'RL on-policy su scala massiccia (centinaia di milioni di interazioni) produce policy di navigazione che superano di gran lunga gli approcci di apprendimento per imitazione
- L'encoder DINOv2 congelato fornisce caratteristiche visive robuste che consentono il trasferimento sim-to-real zero-shot senza adattamento di dominio
- Il decoder Transformer causale permette all'agente di mantenere la memoria della cronologia di esplorazione, risolvendo la navigazione a lungo orizzonte
- Una singola policy addestrata generalizza su embodiment robotici diversi (LoCoBot e Stretch) e a compiti a valle non visti senza fine-tuning
Risultati principali
- Tasso di successo dell'85,5% sul benchmark di navigazione verso oggetti obiettivo CHORES-S: miglioramento assoluto del 28,5% rispetto al precedente stato dell'arte
- Prestazioni allo stato dell'arte su quattro benchmark di simulazione contemporaneamente
- Trasferimento sim-to-real zero-shot su due diverse piattaforme robotiche (LoCoBot e Stretch RE-1) senza alcun adattamento di dominio
- Si estende al tracciamento di oggetti, alla navigazione verso più oggetti e alla navigazione a vocabolario aperto senza fine-tuning aggiuntivo
- Addestrato con RL on-policy su centinaia di milioni di interazioni con l'ambiente in 150K case simulate
Limiti
- L'addestramento richiede un calcolo enorme: centinaia di milioni di interazioni RL su 150K case richiedono notevoli risorse GPU
- L'input solo RGB implica l'assenza di informazioni di profondità: le prestazioni possono peggiorare in ambienti poco illuminati o privi di texture
- Attualmente limitato alla navigazione indoor: ambienti esterni o non strutturati non sono stati valutati
- Il reward shaping per nuovi compiti (ad esempio la manipolazione) richiede un'ingegnerizzazione accurata che questo lavoro non affronta
- Gli ambienti di addestramento generati proceduralmente potrebbero non cogliere tutta la complessità delle disposizioni del mondo reale
Impatto sul settore
PoliFormer convalida l'ipotesi della scalabilità per l'RL incarnato: addestrare policy di navigazione su scala massiccia con ambienti diversificati produce agenti che generalizzano ben oltre la loro distribuzione di addestramento. Questo lavoro sposta il campo verso l'RL on-policy su larga scala come strada praticabile verso agenti incarnati generici, a complemento degli approcci di apprendimento per imitazione che oggi dominano la manipolazione robotica.
Abstract
Presentiamo PoliFormer, una ricetta per scalare l'apprendimento per rinforzo on-policy e addestrare potenti agenti di navigazione indoor solo RGB. PoliFormer combina un encoder Vision Transformer fondativo (DINOv2) con un decoder Transformer causale, addestrati end-to-end con RL on-policy su centinaia di milioni di interazioni in ambienti simulati diversificati e generati proceduralmente (150K case ProcTHOR). Il nostro agente raggiunge prestazioni allo stato dell'arte su due piattaforme robotiche (LoCoBot e Stretch RE-1) e quattro benchmark di simulazione. In particolare, PoliFormer raggiunge un tasso di successo dell'85,5% nella navigazione verso oggetti obiettivo sul benchmark CHORES-S, un miglioramento assoluto del 28,5% rispetto ai metodi precedenti. Il framework dimostra un notevole trasferimento sim-to-real zero-shot senza alcun adattamento di dominio e si estende facilmente a compiti a valle, tra cui il tracciamento di oggetti, la navigazione verso più oggetti e la navigazione a vocabolario aperto, senza fine-tuning aggiuntivo.
Link
- arXiv 2406.20083: https://arxiv.org/abs/2406.20083
- DOI 10.48550/arXiv.2406.20083: https://doi.org/10.48550/arXiv.2406.20083
- PDF: https://arxiv.org/pdf/2406.20083.pdf
- Codice: https://github.com/allenai/PoliFormer
- Pagina del progetto: https://poliformer.allen.ai/