Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

HiFi-UMI-2K

2.000 horas de dados de manipulação bimanual sem robô com 3 mm de precisão

Licença

CC-BY-4.0

Visão geral

HiFi-UMI-2K é um conjunto de dados aberto com 2.000 horas de demonstrações de manipulação bimanual sem robô, capturadas com um equipamento portátil de cabeça e mãos em vez de um robô teleoperado. É um subconjunto curado de um corpus fonte que ultrapassa 20.000 horas e 4,32 milhões de episódios em mais de 480 cenas. Cada episódio traz seis vistas de câmera sincronizadas — estéreo na cabeça mais duas câmeras olho de peixe não paralelas por mão, cobrindo cerca de 200 graus — junto com trajetórias bimanuais calibradas do efetuador final, estados da garra, anotações em linguagem natural e metadados de controle de qualidade. Publicado pela Simple AI sob CC-BY-4.0 em uma exportação no estilo LeRobot v3 com Parquet e MP4.

A troca usual em dados de manipulação é precisão contra escala: teleoperar um robô real dá trajetórias perfeitas, mas cada hora custa um robô, um equipamento e um operador; usar uma garra UMI manual escala, porém a pose deriva, a geometria entre garras é reconstruída depois do fato e os sensores são alinhados por software. O HiFi-UMI ataca a segunda metade dessa troca. SLAM estéreo-inercial offline montado na cabeça, com localização por marcadores fiduciais, entrega cerca de 3 mm de precisão local do efetuador; as duas mãos são localizadas no mesmo referencial da câmera da cabeça, de modo que a pose relativa entre mãos é medida e não reconstruída; e um gatilho GPIO compartilhado mantém as defasagens entre sensores abaixo de 40 microssegundos. Cada trajetória é reconstruída e validada por repetição automaticamente, com cada etapa passando em cerca de 98%.

Por que importa

Este é o conjunto de dados por trás da afirmação de que a captura sem robô pode sustentar sozinha o pós-treinamento, e não apenas o pré-treinamento — políticas treinadas só com demonstrações HiFi-UMI são implantadas diretamente em um robô bimanual real. Para quem não tem plataforma de teleoperação nem o braço alvo, isso muda o que é construível. Com mais de 121.000 downloads, já é um dos corpora abertos de manipulação mais usados, e a exportação LeRobot v3 significa que ele entra em pipelines existentes sem conversão.

Problema que resolve

Dados abertos de manipulação forçam uma escolha entre fidelidade e escala. A captura manual sem robô escala, mas só vinha sendo considerada confiável para pré-treinamento, porque deriva de pose, geometria entre garras reconstruída e alinhamento de sensores por software a deixam aquém do nível de implantação.

Pontos principais

  • 2.000 horas publicadas, curadas de um corpus fonte de mais de 20.000 horas e 4,32 M+ episódios em mais de 480 cenas
  • Seis vistas sincronizadas por episódio: câmeras estéreo na cabeça mais duas câmeras olho de peixe não paralelas por mão, cerca de 200 graus de cobertura
  • Cerca de 3 mm de precisão local do efetuador final, sem infraestrutura externa de rastreamento
  • Defasagens temporais entre sensores abaixo de 40 microssegundos via gatilho GPIO compartilhado; menos de 2 quadros perdidos por hora
  • Reconstrução de trajetória e validação por repetição com controle de corpo inteiro acertam cada uma cerca de 98%
  • CC-BY-4.0, distribuído como tabelas Parquet no estilo LeRobot v3 mais vídeo MP4

Para quem é

  • Equipes de pré-treinamento de VLA e modelos de mundo-ação
  • Pesquisadores de manipulação bimanual
  • Praticantes de aprendizado por imitação sem plataforma de teleoperação
  • Pesquisadores de benchmarks e qualidade de dados

Limitações

  • As 2.000 horas publicadas são um subconjunto curado; o corpus completo de mais de 20.000 horas e os 4,32 M de episódios permanecem internos
  • O próprio dispositivo de captura não é hardware aberto, então o método de coleta não pode ser reproduzido diretamente
  • As demonstrações são mãos humanas em uma garra tipo luva, não o robô alvo, então resta uma lacuna de corporificação no braço
  • As estatísticas diferem entre o subconjunto publicado e o corpus fonte, e o card indica qual é qual — leia com atenção antes de citar números
  • Seis fluxos de vídeo por episódio nessa escala significam armazenamento e banda consideráveis para trabalhar com a publicação completa

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.