Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset

Autori: Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, Peter David Fagan, Joey Hejna, Masha Itkina, Marion Lepert, Yecheng Jason Ma, Patrick Tree Miller, Jimmy Wu, Suneel Belkhale, Shivin Dass, Huy Ha, Arhan Jain, Abraham Lee, Youngwoon Lee, Marius Memmel, Sungjae Park, Ilija Radosavovic, Kaiyuan Wang, Albert Zhan, Kevin Black, Cheng Chi, Kyle Beltran Hatch, Shan Lin, Jingpei Lu, Jean Mercat, Abdul Rehman, Pannag R Sanketi, Archit Sharma, Cody Simpson, Quan Vuong, Homer Rich Walke, Blake Wulfe, Ted Xiao, Jonathan Heewon Yang, Arefeh Yavary, Tony Z. Zhao, Christopher Agia, Rohan Baijal, Mateo Guaman Castro, Daphne Chen, Qiuyu Chen, Trinity Chung, Jaimyn Drake, Ethan Paul Foster, Jensen Gao, David Antonio Herrera, Minho Heo, Kyle Hsu, Jiaheng Hu, Donovon Jackson, Charlotte Le, Yunshuang Li, Kevin Lin, Roy Lin, Zehan Ma, Abhiram Maddukuri, Suvir Mirchandani, Daniel Morton, Tony Nguyen, Abigail O'Neill, Rosario Scalise, Derick Seale, Victor Son, Stephen Tian, Emi Tran, Andrew E. Wang, Yilin Wu, Annie Xie, Jingyun Yang, Patrick Yin, Yunchu Zhang, Osbert Bastani, Glen Berseth, Jeannette Bohg, Ken Goldberg, Abhinav Gupta, Abhishek Gupta, Dinesh Jayaraman, Joseph J Lim, Jitendra Malik, Roberto Martin-Martin, Subramanian Ramamoorthy, Dorsa Sadigh, Shuran Song, Jiajun Wu, Michael C. Yip, Yuke Zhu, Thomas Kollar, Sergey Levine, Chelsea Finn · RSS 2024

RSS 2024

Licenze

  • Open access
  • Articolo: CC BY 4.0

Tutto ciò che segue si basa sull'articolo completo secondo la sua licenza CC BY 4.0; la figura è riportata citando gli autori.

In breve

DROID è un dataset open source di manipolazione robotica con 76K dimostrazioni in 564 scene e 84 compiti, raccolti da 50 persone in 13 istituzioni nel mondo su hardware Franka standardizzato, che mostra miglioramenti delle prestazioni delle policy di circa il 20%.

Perché è importante

DROID rappresenta un salto di scala e di diversità nei dati di manipolazione robotica. I dataset precedenti erano raccolti in pochi laboratori, il che rendeva fragili le policy. Coordinando la raccolta in 13 istituzioni con hardware standardizzato, DROID fornisce i dati diversificati raccolti sul campo necessari per policy generalizzabili. È una fonte di dati chiave per foundation model come π₀.

Problema

I dataset di manipolazione robotica esistenti sono di piccola scala, raccolti in singoli laboratori o privi di varietà ambientale. Questo limita la generalizzazione delle policy apprese a nuove scene, oggetti e condizioni, un ostacolo fondamentale all'impiego dei robot al di fuori di ambienti controllati.

Soluzione proposta

DROID è un'iniziativa di raccolta dati distribuita: 50 operatori in 13 istituzioni hanno raccolto 76.000 dimostrazioni teleoperate su robot Franka standardizzati, in 564 scene reali diverse e 84 compiti. L'hardware standardizzato e un protocollo di raccolta comune garantiscono la coerenza massimizzando la varietà degli ambienti.

Idee chiave

  • 76K traiettorie di dimostrazione in 564 scene e 84 compiti, raccolte nell'arco di 12 mesi
  • 50 operatori di raccolta dati in 13 istituzioni di 3 continenti, tutti con hardware Franka Panda standardizzato
  • Le policy addestrate con DROID mostrano un miglioramento medio di circa il 20% in prestazioni e capacità di generalizzazione
  • Completamente open source: dataset, codice di apprendimento delle policy e guida alla riproduzione dell'hardware
  • Integra Open X-Embodiment (embodiment diversi) fornendo diversità di scene e ambienti

Risultati principali

  • 76.000 traiettorie di dimostrazione per 350 ore di interazione robotica in 564 scene
  • Il co-addestramento con DROID migliora la generalizzazione delle policy in media di circa il 20% sui benchmark di valutazione
  • Raccolto in 13 istituzioni da 50 raccoglitori di dati, coprendo abitazioni, uffici e cucine diversi
  • Standardizzato su hardware Franka Emika Panda con interfacce di teleoperazione uniformi
  • Dataset e strumenti rilasciati interamente come open source per la community

Limiti

  • Limitato al Franka Emika Panda: le policy addestrate su DROID potrebbero non trasferirsi ad altre morfologie di robot
  • Le dimostrazioni teleoperate riflettono l'abilità e i bias degli operatori umani
  • La copertura dei compiti di manipolazione è ampia ma non esaustiva: i compiti ricchi di contatti e con oggetti deformabili sono sottorappresentati
  • La qualità dei dati varia tra i siti di raccolta nonostante i protocolli standardizzati

Impatto sul settore

DROID è il più grande dataset open source di manipolazione con un singolo tipo di robot, e dimostra che una raccolta dati distribuita in 13 istituzioni può produrre dati di addestramento vari e di alta qualità. Ha provato che scala e varietà dei dati robotici, non solo i miglioramenti degli algoritmi, sono fondamentali per la generalizzazione, permettendo direttamente prestazioni migliori in Octo, OpenVLA e altri foundation model.

Abstract

La creazione di dataset di manipolazione robotica ampi, diversificati e di alta qualità è un passo importante verso policy di manipolazione robotica più capaci e robuste. Tuttavia, creare tali dataset è difficile: raccogliere dati di manipolazione robotica in ambienti diversi pone sfide logistiche e di sicurezza e richiede investimenti sostanziali in hardware e lavoro umano. In questo lavoro presentiamo DROID (Distributed Robot Interaction Dataset), un dataset diversificato di manipolazione robotica con 76k traiettorie di dimostrazione, ovvero 350 ore di dati di interazione, raccolti in 564 scene e 84 compiti da 50 operatori di raccolta dati in Nord America, Asia ed Europa nel corso di 12 mesi. Dimostriamo che l'addestramento con DROID porta a policy con prestazioni più elevate e una migliore capacità di generalizzazione. Rendiamo open source l'intero dataset, il codice di apprendimento delle policy e una guida dettagliata per riprodurre la configurazione hardware del nostro robot.

Link

  • arXiv 2403.12945: https://arxiv.org/abs/2403.12945
  • PDF: https://arxiv.org/pdf/2403.12945
  • Codice: https://github.com/droid-dataset/droid
  • Pagina del progetto: https://droid-dataset.github.io/
  • Dataset: https://huggingface.co/datasets/droid-dataset/droid

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.