HiFi-UMI-2K
2.000 horas de dados de manipulação bimanual sem robô com 3 mm de precisão
Licença
CC-BY-4.0
Visão geral
HiFi-UMI-2K é um conjunto de dados aberto com 2.000 horas de demonstrações de manipulação bimanual sem robô, capturadas com um equipamento portátil de cabeça e mãos em vez de um robô teleoperado. É um subconjunto curado de um corpus fonte que ultrapassa 20.000 horas e 4,32 milhões de episódios em mais de 480 cenas. Cada episódio traz seis vistas de câmera sincronizadas — estéreo na cabeça mais duas câmeras olho de peixe não paralelas por mão, cobrindo cerca de 200 graus — junto com trajetórias bimanuais calibradas do efetuador final, estados da garra, anotações em linguagem natural e metadados de controle de qualidade. Publicado pela Simple AI sob CC-BY-4.0 em uma exportação no estilo LeRobot v3 com Parquet e MP4.
A troca usual em dados de manipulação é precisão contra escala: teleoperar um robô real dá trajetórias perfeitas, mas cada hora custa um robô, um equipamento e um operador; usar uma garra UMI manual escala, porém a pose deriva, a geometria entre garras é reconstruída depois do fato e os sensores são alinhados por software. O HiFi-UMI ataca a segunda metade dessa troca. SLAM estéreo-inercial offline montado na cabeça, com localização por marcadores fiduciais, entrega cerca de 3 mm de precisão local do efetuador; as duas mãos são localizadas no mesmo referencial da câmera da cabeça, de modo que a pose relativa entre mãos é medida e não reconstruída; e um gatilho GPIO compartilhado mantém as defasagens entre sensores abaixo de 40 microssegundos. Cada trajetória é reconstruída e validada por repetição automaticamente, com cada etapa passando em cerca de 98%.
Por que importa
Este é o conjunto de dados por trás da afirmação de que a captura sem robô pode sustentar sozinha o pós-treinamento, e não apenas o pré-treinamento — políticas treinadas só com demonstrações HiFi-UMI são implantadas diretamente em um robô bimanual real. Para quem não tem plataforma de teleoperação nem o braço alvo, isso muda o que é construível. Com mais de 121.000 downloads, já é um dos corpora abertos de manipulação mais usados, e a exportação LeRobot v3 significa que ele entra em pipelines existentes sem conversão.
Problema que resolve
Dados abertos de manipulação forçam uma escolha entre fidelidade e escala. A captura manual sem robô escala, mas só vinha sendo considerada confiável para pré-treinamento, porque deriva de pose, geometria entre garras reconstruída e alinhamento de sensores por software a deixam aquém do nível de implantação.
Pontos principais
- 2.000 horas publicadas, curadas de um corpus fonte de mais de 20.000 horas e 4,32 M+ episódios em mais de 480 cenas
- Seis vistas sincronizadas por episódio: câmeras estéreo na cabeça mais duas câmeras olho de peixe não paralelas por mão, cerca de 200 graus de cobertura
- Cerca de 3 mm de precisão local do efetuador final, sem infraestrutura externa de rastreamento
- Defasagens temporais entre sensores abaixo de 40 microssegundos via gatilho GPIO compartilhado; menos de 2 quadros perdidos por hora
- Reconstrução de trajetória e validação por repetição com controle de corpo inteiro acertam cada uma cerca de 98%
- CC-BY-4.0, distribuído como tabelas Parquet no estilo LeRobot v3 mais vídeo MP4
Para quem é
- Equipes de pré-treinamento de VLA e modelos de mundo-ação
- Pesquisadores de manipulação bimanual
- Praticantes de aprendizado por imitação sem plataforma de teleoperação
- Pesquisadores de benchmarks e qualidade de dados
Limitações
- As 2.000 horas publicadas são um subconjunto curado; o corpus completo de mais de 20.000 horas e os 4,32 M de episódios permanecem internos
- O próprio dispositivo de captura não é hardware aberto, então o método de coleta não pode ser reproduzido diretamente
- As demonstrações são mãos humanas em uma garra tipo luva, não o robô alvo, então resta uma lacuna de corporificação no braço
- As estatísticas diferem entre o subconjunto publicado e o corpus fonte, e o card indica qual é qual — leia com atenção antes de citar números
- Seis fluxos de vídeo por episódio nessa escala significam armazenamento e banda consideráveis para trabalhar com a publicação completa