Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset

作者: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, Peter David Fagan, Joey Hejna, Masha Itkina, Marion Lepert, Yecheng Jason Ma, Patrick Tree Miller, Jimmy Wu, Suneel Belkhale, Shivin Dass, Huy Ha, Arhan Jain, Abraham Lee, Youngwoon Lee, Marius Memmel, Sungjae Park, Ilija Radosavovic, Kaiyuan Wang, Albert Zhan, Kevin Black, Cheng Chi, Kyle Beltran Hatch, Shan Lin, Jingpei Lu, Jean Mercat, Abdul Rehman, Pannag R Sanketi, Archit Sharma, Cody Simpson, Quan Vuong, Homer Rich Walke, Blake Wulfe, Ted Xiao, Jonathan Heewon Yang, Arefeh Yavary, Tony Z. Zhao, Christopher Agia, Rohan Baijal, Mateo Guaman Castro, Daphne Chen, Qiuyu Chen, Trinity Chung, Jaimyn Drake, Ethan Paul Foster, Jensen Gao, David Antonio Herrera, Minho Heo, Kyle Hsu, Jiaheng Hu, Donovon Jackson, Charlotte Le, Yunshuang Li, Kevin Lin, Roy Lin, Zehan Ma, Abhiram Maddukuri, Suvir Mirchandani, Daniel Morton, Tony Nguyen, Abigail O'Neill, Rosario Scalise, Derick Seale, Victor Son, Stephen Tian, Emi Tran, Andrew E. Wang, Yilin Wu, Annie Xie, Jingyun Yang, Patrick Yin, Yunchu Zhang, Osbert Bastani, Glen Berseth, Jeannette Bohg, Ken Goldberg, Abhinav Gupta, Abhishek Gupta, Dinesh Jayaraman, Joseph J Lim, Jitendra Malik, Roberto Martin-Martin, Subramanian Ramamoorthy, Dorsa Sadigh, Shuran Song, Jiajun Wu, Michael C. Yip, Yuke Zhu, Thomas Kollar, Sergey Levine, Chelsea Finn · RSS 2024

RSS 2024

授權條款

  • 開放取用
  • 論文: CC BY 4.0

以下內容皆依據論文全文,依其 CC BY 4.0 授權條款使用;圖表已標示作者。

一句話摘要

DROID 是一個開源的機器人操作資料集,包含橫跨 564 個場景與 84 項任務的 76K 個示範,由全球 13 個機構的 50 人在標準化的 Franka 硬體上蒐集,使策略表現提升約 20%。

為何重要

DROID 代表機器人操作資料在規模與多樣性上的一次躍進。先前的資料集是在少數幾個實驗室中蒐集,使策略很脆弱。DROID 協調 13 個機構以標準化硬體進行蒐集,提供了可泛化策略所需的多樣野外資料。它是 π₀ 等基礎模型的關鍵資料來源。

問題

現有的機器人操作資料集要不是規模小、只在單一實驗室收集,就是缺乏環境多樣性。這限制了學到的策略泛化到新場景、新物體與新條件的能力——是讓機器人走出受控環境部署的根本障礙。

提出的方法

DROID 是一項分散式資料收集計畫:來自 13 個機構的 50 名操作員,在標準化的 Franka 機器人上,於 564 個多樣的真實世界場景與 84 項任務中,收集了 76,000 筆遠端操作示範。標準化的硬體與共同的收集流程確保了一致性,同時將環境多樣性最大化。

關鍵見解

  • 橫跨 564 個場景與 84 項任務的 76K 條示範軌跡,於 12 個月期間蒐集
  • 3 大洲 13 個機構的 50 位資料蒐集者,全部使用標準化的 Franka Panda 硬體
  • 以 DROID 訓練的策略,在表現與泛化能力上平均提升約 20%
  • 完全開源:資料集、策略學習程式碼與硬體重現指南
  • 以場景與環境的多樣性,補足 Open X-Embodiment(多樣的形態)

主要結果

  • 76,000 條示範軌跡,涵蓋 564 個場景中 350 小時的機器人互動
  • 與 DROID 共同訓練,使策略泛化能力在各評估基準測試上平均提升約 20%
  • 由 50 名資料收集者在 13 個機構收集,涵蓋各式住家、辦公室與廚房
  • 以 Franka Emika Panda 硬體為標準,搭配一致的遠端操作介面
  • 資料集與工具完全開源釋出,供社群使用

限制

  • 僅限於 Franka Emika Panda——以 DROID 訓練的策略可能無法遷移到其他機器人形態
  • 遠端操作示範反映了人類操作員的技術與偏差
  • 操作任務的涵蓋範圍廣但並不完整——高接觸任務與可變形物體任務的比例偏低
  • 儘管有標準化的流程,各收集地點的資料品質仍有差異

對領域的影響

DROID 是規模最大的開源單一機器人操作資料集,證明了跨 13 個機構的分散式資料收集能產出多樣且高品質的訓練資料。它證實了機器人資料的規模與多樣性——而不只是演算法的改進——對泛化至關重要,直接讓 Octo、OpenVLA 及其他基礎模型的表現更好。

摘要

建立大型、多樣、高品質的機器人操作資料集,是邁向更有能力、更穩健的機器人操作策略的重要墊腳石。然而,建立這類資料集很有挑戰性:在多樣的環境中蒐集機器人操作資料,會帶來後勤與安全上的挑戰,並需要在硬體與人力上投入大量資源。在這項工作中,我們提出 DROID(Distributed Robot Interaction Dataset),一個多樣的機器人操作資料集,包含 76k 條示範軌跡,即 350 小時的互動資料,由北美、亞洲與歐洲的 50 位資料蒐集者在 12 個月期間,於 564 個場景與 84 項任務中蒐集而成。我們證明以 DROID 訓練能產生表現更好、泛化能力更強的策略。我們開源了完整的資料集、策略學習程式碼,以及重現我們機器人硬體配置的詳細指南。

連結

  • arXiv 2403.12945: https://arxiv.org/abs/2403.12945
  • PDF: https://arxiv.org/pdf/2403.12945
  • 程式碼: https://github.com/droid-dataset/droid
  • 專案頁面: https://droid-dataset.github.io/
  • 資料集: https://huggingface.co/datasets/droid-dataset/droid

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。