Open X-Embodiment: Robotic Learning Datasets and RT-X Models
作者: Open X-Embodiment Collaboration, Abby O'Neill, Abdul Rehman, Abhinav Gupta, Abhiram Maddukuri, Abhishek Gupta, Abhishek Padalkar, Abraham Lee, Acorn Pooley, Agrim Gupta, Ajay Mandlekar, Ajinkya Jain, Albert Tung, Alex Bewley, Alex Herzog, Alex Irpan, Alexander Khazatsky, Anant Rai, Anchit Gupta, Andrew Wang, Andrey Kolobov, Anikait Singh, Animesh Garg, Aniruddha Kembhavi, Annie Xie, Anthony Brohan, Antonin Raffin, Archit Sharma, Arefeh Yavary, Arhan Jain, Ashwin Balakrishna, Ayzaan Wahid, Ben Burgess-Limerick, Beomjoon Kim, Bernhard Schölkopf, Blake Wulfe, Brian Ichter, Cewu Lu, Charles Xu, Charlotte Le, Chelsea Finn, Chen Wang, Chenfeng Xu, Cheng Chi, Chenguang Huang, Christine Chan, Christopher Agia, Chuer Pan, Chuyuan Fu, Coline Devin, Danfei Xu, Daniel Morton, Danny Driess, Daphne Chen, Deepak Pathak, Dhruv Shah, Dieter Büchler, Dinesh Jayaraman, Dmitry Kalashnikov, Dorsa Sadigh, Edward Johns, Ethan Foster, Fangchen Liu, Federico Ceola, Fei Xia, Feiyu Zhao, Felipe Vieira Frujeri, Freek Stulp, Gaoyue Zhou, Gaurav S. Sukhatme, Gautam Salhotra, Ge Yan, Gilbert Feng, Giulio Schiavi, Glen Berseth, Gregory Kahn, Guangwen Yang, Guanzhi Wang, Hao Su, Hao-Shu Fang, Haochen Shi, Henghui Bao, Heni Ben Amor, Henrik I Christensen, Hiroki Furuta, Homanga Bharadhwaj, Homer Walke, Hongjie Fang, Huy Ha, Igor Mordatch, Ilija Radosavovic, Isabel Leal, Jacky Liang, Jad Abou-Chakra, Jaehyung Kim, Jaimyn Drake, Jan Peters, Jan Schneider, Jasmine Hsu, Jay Vakil, Jeannette Bohg, Jeffrey Bingham, Jeffrey Wu, Jensen Gao, Jiaheng Hu, Jiajun Wu, Jialin Wu, Jiankai Sun, Jianlan Luo, Jiayuan Gu, Jie Tan, Jihoon Oh, Jimmy Wu, Jingpei Lu, Jingyun Yang, Jitendra Malik, João Silvério, Joey Hejna, Jonathan Booher, Jonathan Tompson, Jonathan Yang, Jordi Salvador, Joseph J. Lim, Junhyek Han, Kaiyuan Wang, Kanishka Rao, Karl Pertsch, Karol Hausman, Keegan Go, Keerthana Gopalakrishnan, Ken Goldberg, Kendra Byrne, Kenneth Oslund, Kento Kawaharazuka, Kevin Black, Kevin Lin, Kevin Zhang, Kiana Ehsani, Kiran Lekkala, Kirsty Ellis, Krishan Rana, Krishnan Srinivasan, Kuan Fang, Kunal Pratap Singh, Kuo-Hao Zeng, Kyle Hatch, Kyle Hsu, Laurent Itti, Lawrence Yunliang Chen, Lerrel Pinto, Li Fei-Fei, Liam Tan, Linxi "Jim" Fan, Lionel Ott, Lisa Lee, Luca Weihs, Magnum Chen, Marion Lepert, Marius Memmel, Masayoshi Tomizuka, Masha Itkina, Mateo Guaman Castro, Max Spero, Maximilian Du, Michael Ahn, Michael C. Yip, Mingtong Zhang, Mingyu Ding, Minho Heo, Mohan Kumar Srirama, Mohit Sharma, Moo Jin Kim, Muhammad Zubair Irshad, Naoaki Kanazawa, Nicklas Hansen, Nicolas Heess, Nikhil J Joshi, Niko Suenderhauf, Ning Liu, Norman Di Palo, Nur Muhammad Mahi Shafiullah, Oier Mees, Oliver Kroemer, Osbert Bastani, Pannag R Sanketi, Patrick "Tree" Miller, Patrick Yin, Paul Wohlhart, Peng Xu, Peter David Fagan, Peter Mitrano, Pierre Sermanet, Pieter Abbeel, Priya Sundaresan, Qiuyu Chen, Quan Vuong, Rafael Rafailov, Ran Tian, Ria Doshi, Roberto Martín-Martín, Rohan Baijal, Rosario Scalise, Rose Hendrix, Roy Lin, Runjia Qian, Ruohan Zhang, Russell Mendonca, Rutav Shah, Ryan Hoque, Ryan Julian, Samuel Bustamante, Sean Kirmani, Sergey Levine, Shan Lin, Sherry Moore, Shikhar Bahl, Shivin Dass, Shubham Sonawani, Shubham Tulsiani, Shuran Song, Sichun Xu, Siddhant Haldar, Siddharth Karamcheti, Simeon Adebola, Simon Guist, Soroush Nasiriany, Stefan Schaal, Stefan Welker, Stephen Tian, Subramanian Ramamoorthy, Sudeep Dasari, Suneel Belkhale, Sungjae Park, Suraj Nair, Suvir Mirchandani, Takayuki Osa, Tanmay Gupta, Tatsuya Harada, Tatsuya Matsushima, Ted Xiao, Thomas Kollar, Tianhe Yu, Tianli Ding, Todor Davchev, Tony Z. Zhao, Travis Armstrong, Trevor Darrell, Trinity Chung, Vidhi Jain, Vikash Kumar, Vincent Vanhoucke, Vitor Guizilini, Wei Zhan, Wenxuan Zhou, Wolfram Burgard, Xi Chen, Xiangyu Chen, Xiaolong Wang, Xinghao Zhu, Xinyang Geng, Xiyuan Liu, Xu Liangwei, Xuanlin Li, Yansong Pang, Yao Lu, Yecheng Jason Ma, Yejin Kim, Yevgen Chebotar, Yifan Zhou, Yifeng Zhu, Yilin Wu, Ying Xu, Yixuan Wang, Yonatan Bisk, Yongqiang Dou, Yoonyoung Cho, Youngwoon Lee, Yuchen Cui, Yue Cao, Yueh-Hua Wu, Yujin Tang, Yuke Zhu, Yunchu Zhang, Yunfan Jiang, Yunshuang Li, Yunzhu Li, Yusuke Iwasawa, Yutaka Matsuo, Zehan Ma, Zhuo Xu, Zichen Jeff Cui, Zichen Zhang, Zipeng Fu, Zipeng Lin · ICRA 2024
授權條款
- 開放取用
- 論文: CC BY 4.0
以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。
一句話摘要
把 60 個機器人資料集(1M+ 條軌跡、22 種機器人、21 個機構)彙整成單一格式。以此訓練的 RT-X 模型展現正向遷移:RT-1-X 在小資料任務上好 50%,RT-2-X 在湧現技能上好約 3 倍。
為何重要
機器人學習通常為每種機器人、每個任務與每個環境各訓練一個模型。這篇論文檢驗以多種機器人資料訓練的單一模型,能否勝過只以各機器人自身資料訓練的模型。它發現了正向遷移,並以單一標準格式釋出資料與 RT-X 模型檢查點,讓其他人能在此基礎上繼續發展。
問題
機器人學習方法通常為每種應用、每種機器人,甚至每個環境各訓練一個模型。機器人資料集的規模只有視覺與語言資料集的一小部分。它們也常常很狹窄:一個環境、一組物體,或很窄的任務範圍。多數公開的機器人資料集只包含一種機器人,因此不清楚能否結合多種機器人的資料來幫助每一種機器人。
提出的方法
作者把 60 個既有的機器人資料集轉換成單一格式 (RLDS),建立 Open X-Embodiment Dataset。接著,他們在來自 9 種機械手臂的資料組合上,訓練了兩種既有的模型設計。RT-1-X 是只以機器人資料訓練的 35M 參數 Transformer。RT-2-X 是以 PaLI-X 為基礎的視覺-語言-動作模型,以大致等量的網路視覺-語言資料與機器人資料共同微調。所有機器人共用粗略的 7 自由度末端執行器動作空間與單一相機視角。沒有使用特別的機制來彌合機器人之間的差異。
關鍵見解
- 資料少的機器人獲益最多:與其他機器人的資料共同訓練,在 5 個小資料領域中的 4 個提升了結果。
- 模型容量很重要:35M 參數的 RT-1-X 對大型資料集欠擬合,而 55B 的 RT-2-X 在湧現技能上勝過 5B 模型(75.8% 對 44.4%)。
- 技能可以在機器人之間轉移:Google Robot 完成了自身資料中沒有的 Bridge 技能,而拿掉 Bridge 資料後,這項提升大多消失。
- 網路預訓練對大型模型至關重要(湧現技能上 44.4% 對 0%),簡短的影像歷史也有幫助(44.4% 對 14.5%)。
- 不需要特別的方法來彌合本體差異:粗略的共享動作空間與單一相機視角,就足以產生正向遷移。
主要結果
- 在五個小資料領域上,RT-1-X 的平均成功率比 Original Method 或 RT-1 高 50%,並在 5 個資料集中的 4 個勝過 Original Method。
- 在 Google Robot 上,RT-2-X (55B) 的湧現技能得分為 75.8%,RT-2 為 27.3%,好約 3 倍。這些技能來自另一種機器人 (WidowX) 的 Bridge 資料。
- 從 RT-2-X 的訓練中拿掉 Bridge 資料集後,湧現技能的成功率從 75.8% 降到 42.8%。
- 在大型資料集(Bridge 與 RT-1)上,RT-1-X 欠擬合,表現不如 RT-1(Bridge 上 27% 對 40% 與 27% 對 30%,RT-1 技能上 73% 對 92%)。RT-2-X (55B) 的得分為 50%、30% 與 91%。
- 在未見過的物體、背景與環境上,RT-2-X 與 RT-2 的表現大致相當(61% 對 62%)。
- 釋出的資料集包含來自 22 種本體的 1M+ 條真實機器人軌跡,彙整自 21 個機構 34 間實驗室的 60 個資料集,涵蓋 527 項技能(160,266 個任務)。
- 這項研究在 6 種機器人上進行了 3600 次評估試驗。
限制
- 實驗沒有考慮感測與驅動方式差異很大的機器人。
- 它們沒有研究對新機器人的泛化,也沒有提供判斷正向遷移何時發生、何時不發生的準則。
- 模型以來自 9 種機械手臂的資料訓練,少於完整資料集中的 22 種本體。
- RT-1-X 對大型資料集欠擬合,在這些資料集上的表現不如只以單一機器人資料訓練的 RT-1。
- 動作與相機視角只粗略對齊。座標系並未對齊,因此同一個動作向量在不同機器人上可能造成截然不同的動作。
對領域的影響
論文提供資料集、範例程式碼與 RT-1-X 檢查點,作為跨本體研究的基礎。它明言的目標是共享資料與工具,而非新的架構。作者稱它是邁向跨機器人通用模型的一步,也是跨機器人學習可行且實用的例證。他們列出尚待解決的問題:遷移到新機器人、感測與驅動方式差異很大的機器人,以及正向遷移何時發生。
摘要
我們提出 Open X-Embodiment,迄今規模最大的開放原始碼真實機器人資料集,包含來自 21 個機構、涵蓋 22 種機器人形態的 1M+ 條真實機器人軌跡。我們在這個整合後的資料集上訓練大型機器人策略 RT-1-X 與 RT-2-X,並證明了正向遷移:在小資料領域中,RT-1-X 比 RT-1 或在個別資料集上訓練的原始方法高出 50%,而 RT-2-X 在湧現技能評估中展現出 3 倍的表現。這些結果顯示,以多樣資料進行跨形態訓練能大幅改善機器人學習,就像大型語言模型受益於多樣的文字語料庫一樣。我們的資料集涵蓋 527 種技能、160,266 項任務,來自全球 34 個機器人研究實驗室匯集的 60 個既有資料集。
連結
- arXiv 2310.08864: https://arxiv.org/abs/2310.08864
- DOI 10.1109/icra57147.2024.10611477: https://doi.org/10.1109/icra57147.2024.10611477
- PDF: https://arxiv.org/pdf/2310.08864.pdf
- 程式碼: https://github.com/google-deepmind/open_x_embodiment
- 專案頁面: https://robotics-transformer-x.github.io/