RT-1: Robotics Transformer for Real-World Control at Scale
作者: Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Tomas Jackson, Sally Jesmonth, Nikhil J Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Isabel Leal, Kuang-Huei Lee, Sergey Levine, Yao Lu, Utsav Malla, Deeksha Manjunath, Igor Mordatch, Ofir Nachum, Carolina Parada, Jodilyn Peralta, Emily Perez, Karl Pertsch, Jornell Quiambao, Kanishka Rao, Michael Ryoo, Grecia Salazar, Pannag Sanketi, Kevin Sayed, Jaspiar Singh, Sumedh Sontakke, Austin Stone, Clayton Tan, Huong Tran, Vincent Vanhoucke, Steve Vega, Quan Vuong, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu, Brianna Zitkovich · RSS 2023
授權條款
依 arXiv 的授權條款,以下內容僅依據摘要撰寫。
為何重要
大型且多樣的資料集讓視覺、語言與語音模型只需少量甚至不需額外資料,就能解決新任務。本研究探討同樣的情形是否也適用於真實世界資料難以蒐集的機器人,並研究一類為此打造的模型。
提出的方法
Robotics Transformer,一類以開放式、不限定任務的訓練為基礎的模型,採用能吸收多樣機器人資料的高容量架構,並以真實機器人執行真實世界任務的大規模資料蒐集進行研究。
摘要
透過從大型、多樣、與任務無關的資料集轉移知識,現代機器學習模型能以零樣本方式或使用小型的特定任務資料集,將特定的下游任務解決到很高的水準。雖然這種能力已在電腦視覺、自然語言處理或語音辨識等其他領域獲得證明,在機器人學中卻仍有待證明;由於蒐集真實世界機器人資料很困難,模型的泛化能力在機器人學中尤其關鍵。我們認為,這類通用機器人模型成功的關鍵之一,在於開放式、與任務無關的訓練,並結合能吸收所有多樣機器人資料的高容量架構。在本文中,我們提出一類稱為 Robotics Transformer 的模型,它展現出可望擴展的模型特性。我們根據在真實機器人上執行真實世界任務的大規模資料蒐集,研究不同的模型類別及其泛化能力如何隨資料規模、模型規模與資料多樣性變化,藉此驗證我們的結論。
連結
- arXiv 2212.06817: https://arxiv.org/abs/2212.06817
- PDF: https://arxiv.org/pdf/2212.06817.pdf
- 程式碼: https://github.com/google-research/robotics_transformer
- 專案頁面: https://robotics-transformer1.github.io/