Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

HiFi-UMI-2K

2.000 ore di dati di manipolazione bimanuale senza robot con precisione di 3 mm

Licenza

CC-BY-4.0

Panoramica

HiFi-UMI-2K è un dataset aperto di 2.000 ore di dimostrazioni di manipolazione bimanuale senza robot, acquisite con un sistema portatile per testa e mani anziché con un robot teleoperato. È un sottoinsieme selezionato di un corpus di origine che supera le 20.000 ore e i 4,32 milioni di episodi in oltre 480 scene. Ogni episodio contiene sei viste di telecamera sincronizzate (stereo sulla testa più due viste fisheye non parallele per ogni mano che coprono circa 200 gradi) con traiettorie bimanuali calibrate dell'end effector, stati della pinza, annotazioni linguistiche e metadati di controllo qualità. Rilasciato da Simple AI con licenza CC-BY-4.0 in un'esportazione Parquet e MP4 in stile LeRobot v3.

Il compromesso abituale nei dati di manipolazione è tra precisione e scala: teleoperando un robot reale le traiettorie sono perfette, ma ogni ora costa un robot, un'attrezzatura e un operatore; usando una pinza UMI portatile si scala, ma la posa deriva, la geometria tra le pinze viene ricostruita a posteriori e i sensori sono allineati via software. HiFi-UMI affronta la seconda metà di questo compromesso. Uno SLAM stereo-inerziale offline montato sulla testa, con localizzazione tramite marker fiduciali, offre una precisione locale dell'end effector di circa 3 mm; entrambe le mani sono localizzate nello stesso sistema di riferimento della telecamera sulla testa, così la posa relativa tra le mani viene misurata anziché ricostruita; e un trigger GPIO condiviso mantiene gli sfasamenti tra sensori sotto i 40 microsecondi. Ogni traiettoria viene ricostruita e validata con la riproduzione in modo automatico, e ogni fase viene superata in circa il 98% dei casi.

Perché è importante

È il dataset alla base dell'affermazione secondo cui l'acquisizione senza robot può sostenere da sola il post-addestramento, non solo il pre-addestramento: le policy addestrate solo sulle dimostrazioni di HiFi-UMI vengono impiegate direttamente su un robot bimanuale reale. Per chi non ha una postazione di teleoperazione o il braccio di destinazione, questo cambia ciò che è possibile costruire. Con oltre 121.000 download è già uno dei corpus aperti di manipolazione più usati, e l'esportazione LeRobot v3 fa sì che si inserisca nelle pipeline esistenti senza conversione.

Il problema che risolve

I dati aperti di manipolazione impongono una scelta tra fedeltà e scala. L'acquisizione portatile senza robot scala, ma finora è stata considerata affidabile solo per il pre-addestramento, perché la deriva della posa, la geometria ricostruita tra le pinze e l'allineamento software dei sensori la lasciano al di sotto della qualità necessaria per l'impiego reale.

Punti chiave

  • 2.000 ore rilasciate, selezionate da un corpus di origine di oltre 20.000 ore e oltre 4,32 milioni di episodi in più di 480 scene
  • Sei viste sincronizzate per episodio: telecamere stereo sulla testa più due telecamere fisheye non parallele per ogni mano, con una copertura di ~200 gradi
  • Precisione locale dell'end effector di circa 3 mm senza infrastruttura di tracciamento esterna
  • Sfasamenti temporali tra sensori inferiori a 40 microsecondi grazie a un trigger hardware GPIO condiviso; meno di 2 fotogrammi persi all'ora
  • La ricostruzione delle traiettorie e la validazione con riproduzione tramite controllo del corpo intero riescono ciascuna in circa il 98% dei casi
  • CC-BY-4.0, distribuito come tabelle Parquet in stile LeRobot v3 più video MP4

A chi si rivolge

  • Team di pre-addestramento di VLA e di world-action model
  • Ricercatori di manipolazione bimanuale
  • Professionisti dell'apprendimento per imitazione senza una postazione di teleoperazione
  • Ricercatori di benchmark e di qualità dei dati

Limiti

  • Le 2.000 ore rilasciate sono un sottoinsieme selezionato; il corpus completo di oltre 20.000 ore e i 4,32 milioni di episodi restano interni
  • Il dispositivo di acquisizione stesso non è hardware aperto, quindi il metodo di raccolta non può essere riprodotto direttamente
  • Le dimostrazioni sono di mani umane in una pinza a forma di guanto, non del robot di destinazione, quindi resta un divario di embodiment a livello del braccio
  • Le statistiche differiscono tra il sottoinsieme rilasciato e il corpus di origine, e la scheda indica quale è quale: leggere con attenzione prima di citare cifre
  • Sei flussi video per episodio su questa scala significano spazio di archiviazione e banda considerevoli per lavorare con l'intero rilascio

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.