Open X-Embodiment: Robotic Learning Datasets and RT-X Models
Autori: Open X-Embodiment Collaboration, Abby O'Neill, Abdul Rehman, Abhinav Gupta, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, Albert Tung, Alex Bewley, Alex Herzog, Alex Irpan, Alexander Khazatsky, Anant Rai, Anchit Gupta, Andrew Wang, Andrey Kolobov, Anikait Singh, Animesh Garg, Aniruddha Kembhavi, Annie Xie, Anthony Brohan, Antonin Raffin, Archit Sharma, Arefeh Yavary, Arhan Jain, Ashwin Balakrishna, Ayzaan Wahid, Ben Burgess-Limerick, Beomjoon Kim, Bernhard Schölkopf, Blake Wulfe, Brian Ichter, Cewu Lu, Charles Xu, Charlotte Le, Chelsea Finn, Chen Wang, Chenfeng Xu, Cheng Chi, Chenguang Huang, Christine Chan, Christopher Agia, Chuer Pan, Chuyuan Fu, Coline Devin, Danfei Xu, Daniel Morton, Danny Driess, Daphne Chen, Deepak Pathak, Dhruv Shah, Dieter Büchler, Dinesh Jayaraman, Dmitry Kalashnikov, Dorsa Sadigh, Edward Johns, Ethan Foster, Fangchen Liu, Federico Ceola, Fei Xia, Feiyu Zhao, Felipe Vieira Frujeri, Freek Stulp, Gaoyue Zhou, Gaurav S. Sukhatme, Gautam Salhotra, Ge Yan, Gilbert Feng, Giulio Schiavi, Glen Berseth, Gregory Kahn, Guangwen Yang, Guanzhi Wang, Hao Su, Hao-Shu Fang, Haochen Shi, Henghui Bao, Heni Ben Amor, Henrik I Christensen, Hiroki Furuta, Homanga Bharadhwaj, Homer Walke, Hongjie Fang, Huy Ha, Igor Mordatch, Ilija Radosavovic, Isabel Leal, Jacky Liang, Jad Abou-Chakra, Jaehyung Kim, Jaimyn Drake, Jan Peters, Jan Schneider, Jasmine Hsu, Jay Vakil, Jeannette Bohg, Jeffrey Bingham, Jeffrey Wu, Jensen Gao, Jiaheng Hu, Jiajun Wu, Jialin Wu, Jiankai Sun, Jianlan Luo, Jiayuan Gu, Jie Tan, Jihoon Oh, Jimmy Wu, Jingpei Lu, Jingyun Yang, Jitendra Malik, João Silvério, Joey Hejna, Jonathan Booher, Jonathan Tompson, Jonathan Yang, Jordi Salvador, Joseph J. Lim, Junhyek Han, Kaiyuan Wang, Kanishka Rao, Karl Pertsch, Karol Hausman, Keegan Go, Keerthana Gopalakrishnan, Ken Goldberg, Kendra Byrne, Kenneth Oslund, Kento Kawaharazuka, Kevin Black, Kevin Lin, Kevin Zhang, Kiana Ehsani, Kiran Lekkala, Kirsty Ellis, Krishan Rana, Krishnan Srinivasan, Kuan Fang, Kunal Pratap Singh, Kuo-Hao Zeng, Kyle Hatch, Kyle Hsu, Laurent Itti, Lawrence Yunliang Chen, Lerrel Pinto, Li Fei-Fei, Liam Tan, Linxi "Jim" Fan, Lionel Ott, Lisa Lee, Luca Weihs, Magnum Chen, Marion Lepert, Marius Memmel, Masayoshi Tomizuka, Masha Itkina, Mateo Guaman Castro, Max Spero, Maximilian Du, Michael Ahn, Michael C. Yip, Mingtong Zhang, Mingyu Ding, Minho Heo, Mohan Kumar Srirama, Mohit Sharma, Moo Jin Kim, Muhammad Zubair Irshad, Naoaki Kanazawa, Nicklas Hansen, Nicolas Heess, Nikhil J Joshi, Niko Suenderhauf, Ning Liu, Norman Di Palo, Nur Muhammad Mahi Shafiullah, Oier Mees, Oliver Kroemer, Osbert Bastani, Pannag R Sanketi, Patrick "Tree" Miller, Patrick Yin, Paul Wohlhart, Peng Xu, Peter David Fagan, Peter Mitrano, Pierre Sermanet, Pieter Abbeel, Priya Sundaresan, Qiuyu Chen, Quan Vuong, Rafael Rafailov, Ran Tian, Ria Doshi, Roberto Martín-Martín, Rohan Baijal, Rosario Scalise, Rose Hendrix, Roy Lin, Runjia Qian, Ruohan Zhang, Russell Mendonca, Rutav Shah, Ryan Hoque, Ryan Julian, Samuel Bustamante, Sean Kirmani, Sergey Levine, Shan Lin, Sherry Moore, Shikhar Bahl, Shivin Dass, Shubham Sonawani, Shubham Tulsiani, Shuran Song, Sichun Xu, Siddhant Haldar, Siddharth Karamcheti, Simeon Adebola, Simon Guist, Soroush Nasiriany, Stefan Schaal, Stefan Welker, Stephen Tian, Subramanian Ramamoorthy, Sudeep Dasari, Suneel Belkhale, Sungjae Park, Suraj Nair, Suvir Mirchandani, Takayuki Osa, Tanmay Gupta, Tatsuya Harada, Tatsuya Matsushima, Ted Xiao, Thomas Kollar, Tianhe Yu, Tianli Ding, Todor Davchev, Tony Z. Zhao, Travis Armstrong, Trevor Darrell, Trinity Chung, Vidhi Jain, Vikash Kumar, Vincent Vanhoucke, Vitor Guizilini, Wei Zhan, Wenxuan Zhou, Wolfram Burgard, Xi Chen, Xiangyu Chen, Xiaolong Wang, Xinghao Zhu, Xinyang Geng, Xiyuan Liu, Xu Liangwei, Xuanlin Li, Yansong Pang, Yao Lu, Yecheng Jason Ma, Yejin Kim, Yevgen Chebotar, Yifan Zhou, Yifeng Zhu, Yilin Wu, Ying Xu, Yixuan Wang, Yonatan Bisk, Yongqiang Dou, Yoonyoung Cho, Youngwoon Lee, Yuchen Cui, Yue Cao, Yueh-Hua Wu, Yujin Tang, Yuke Zhu, Yunchu Zhang, Yunfan Jiang, Yunshuang Li, Yunzhu Li, Yusuke Iwasawa, Yutaka Matsuo, Zehan Ma, Zhuo Xu, Zichen Jeff Cui, Zichen Zhang, Zipeng Fu, Zipeng Lin · ICRA 2024
Licenze
- Open access
- Articolo: CC BY 4.0
Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.
In breve
Riunisce 60 dataset robotici (1M+ traiettorie, 22 robot, 21 istituzioni) in un unico formato. I modelli RT-X addestrati su di esso mostrano un trasferimento positivo: RT-1-X è migliore del 50% sui compiti con pochi dati e RT-2-X circa 3 volte migliore sulle abilità emergenti.
Perché è importante
L'apprendimento robotico di solito addestra un modello separato per ogni robot, compito e ambiente. Questo articolo verifica se un unico modello addestrato sui dati di molti robot possa battere modelli addestrati solo sui dati di ciascun robot. Riscontra un trasferimento positivo e pubblica i dati in un unico formato standard, insieme ai checkpoint dei modelli RT-X, perché altri possano costruirci sopra.
Problema
I metodi di apprendimento robotico addestrano per convenzione un modello separato per ogni applicazione, ogni robot e perfino ogni ambiente. I dataset robotici sono una frazione delle dimensioni di quelli di visione e linguaggio. Inoltre sono spesso ristretti: un ambiente, un insieme di oggetti o una gamma limitata di compiti. La maggior parte dei dataset robotici aperti contiene un solo tipo di robot, quindi non era chiaro se i dati di molti robot si potessero combinare per aiutare ciascuno di essi.
Soluzione proposta
Gli autori hanno convertito 60 dataset robotici esistenti in un unico formato (RLDS) per costruire l'Open X-Embodiment Dataset. Hanno poi addestrato due progetti di modello esistenti su una miscela di dati da 9 manipolatori. RT-1-X è un Transformer da 35M parametri addestrato solo su dati robotici. RT-2-X è un modello Vision-Language-Action basato su PaLI-X, co-affinato su parti circa uguali di dati visione-linguaggio dal web e di dati robotici. Tutti i robot condividono uno spazio d'azione approssimativo dell'end effector a 7 gradi di libertà e un'unica vista di telecamera. Non si usa alcun meccanismo speciale per colmare il divario tra i robot.
Idee chiave
- I robot con pochi dati guadagnano di più: il co-addestramento sui dati di altri robot ha migliorato i risultati in 4 domini su 5 con pochi dati.
- La capacità del modello conta: RT-1-X, con 35M parametri, era in underfitting sui grandi dataset, e RT-2-X da 55B ha battuto il modello da 5B sulle abilità emergenti (75,8% contro 44,4%).
- Le abilità possono passare da un robot all'altro: il Google Robot ha eseguito abilità di Bridge assenti dai suoi dati, e gran parte di questo guadagno spariva senza i dati di Bridge.
- Il preaddestramento sul web è cruciale per i modelli grandi (44,4% contro 0% sulle abilità emergenti), e una breve storia di immagini aiuta (44,4% contro 14,5%).
- Non è servito alcun metodo speciale per colmare il divario di incarnazione: uno spazio d'azione condiviso approssimativo e un'unica vista di telecamera sono bastati per il trasferimento positivo.
Risultati principali
- Su cinque domini con pochi dati, RT-1-X ha avuto un tasso di successo medio superiore del 50% rispetto all'Original Method o a RT-1, e ha battuto l'Original Method su 4 dei 5 dataset.
- Sul Google Robot, RT-2-X (55B) ha ottenuto il 75,8% sulle abilità emergenti contro il 27,3% di RT-2, circa 3 volte meglio. Queste abilità provengono dai dati Bridge di un altro robot (WidowX).
- Togliere il dataset Bridge dall'addestramento di RT-2-X ha ridotto il successo sulle abilità emergenti dal 75,8% al 42,8%.
- Sui grandi dataset (Bridge e RT-1), RT-1-X era in underfitting e ha fatto peggio di RT-1 (27% contro 40% e 27% contro 30% su Bridge, 73% contro 92% sulle abilità di RT-1). RT-2-X (55B) ha ottenuto 50%, 30% e 91%.
- Con oggetti, sfondi e ambienti mai visti, RT-2-X e RT-2 hanno avuto prestazioni più o meno pari (61% contro 62%).
- Il dataset pubblicato contiene 1M+ traiettorie di robot reali da 22 incarnazioni, riunite da 60 dataset di 34 laboratori in 21 istituzioni, e copre 527 abilità (160.266 compiti).
- Lo studio ha condotto 3600 prove di valutazione su 6 robot.
Limiti
- Gli esperimenti non considerano robot con modalità di percezione e attuazione molto diverse.
- Non studiano la generalizzazione a nuovi robot e non danno un criterio per stabilire quando il trasferimento positivo avviene e quando no.
- I modelli sono stati addestrati sui dati di 9 manipolatori, meno delle 22 incarnazioni del dataset completo.
- RT-1-X è in underfitting sui grandi dataset e lì fa peggio di RT-1 addestrato sui dati di un solo robot.
- Azioni e viste di telecamera sono allineate solo in modo approssimativo. I sistemi di coordinate non sono allineati, quindi lo stesso vettore d'azione può causare movimenti molto diversi su robot diversi.
Impatto sul settore
L'articolo offre il dataset, codice di esempio e il checkpoint di RT-1-X come base per la ricerca tra incarnazioni. Il suo obiettivo dichiarato sono dati e strumenti condivisi, non nuove architetture. Gli autori lo definiscono un passo verso un generalista tra robot e un esempio che l'apprendimento tra robot è fattibile e pratico. Indicano questioni aperte: il trasferimento a nuovi robot, i robot con percezione e attuazione molto diverse e quando avviene il trasferimento positivo.
Abstract
Introduciamo Open X-Embodiment, il più grande dataset open source di robot reali finora, composto da oltre 1M di traiettorie di robot reali che coprono 22 embodiment robotici di 21 istituzioni. Addestriamo grandi policy robotiche, RT-1-X e RT-2-X, su questo dataset consolidato e dimostriamo un trasferimento positivo: RT-1-X supera del 50% RT-1 o i metodi originali addestrati sui singoli dataset nel regime con pochi dati, e RT-2-X mostra prestazioni 3 volte migliori nelle valutazioni delle abilità emergenti. Questi risultati suggeriscono che l'addestramento cross-embodiment con dati diversificati può migliorare in modo sostanziale l'apprendimento robotico, in modo simile a come i grandi modelli linguistici traggono vantaggio da corpora testuali diversificati. Il nostro dataset copre 527 abilità su 160.266 compiti, da 60 dataset esistenti messi in comune da 34 laboratori di ricerca robotica di tutto il mondo.
Link
- arXiv 2310.08864: https://arxiv.org/abs/2310.08864
- DOI 10.1109/icra57147.2024.10611477: https://doi.org/10.1109/icra57147.2024.10611477
- PDF: https://arxiv.org/pdf/2310.08864.pdf
- Codice: https://github.com/google-deepmind/open_x_embodiment
- Pagina del progetto: https://robotics-transformer-x.github.io/