Eidon Tracker POV
1.274 horas de vídeo doméstico em primeira pessoa com rastreamento dos braços por sete IMUs
Licença
CC-BY-4.0
Visão geral
Vinte e sete voluntários usaram uma câmera na cabeça e um arnês de sete sensores IMU enquanto faziam tarefas reais em suas próprias casas: dobrar roupa, limpar, lavar louça, cozinhar, tricotar. O resultado são 13.451 gravações somando 1.273,8 horas, cada uma unindo vídeo em primeira pessoa a dados de orientação a 24 Hz para as duas mãos, os dois antebraços, os dois braços e o peito. O sensor do peito é o referencial: compor a sua inversa com um membro dá a pose do braço relativa ao tronco, invariante à direção para onde a pessoa está virada. Vídeo e IMU ficam em dois repositórios unidos por recording_id, mais um contêiner com outras 306 horas só de vídeo. Tudo sob CC-BY-4.0.
Grandes datasets de aprendizado de robôs, como AgiBot World, DROID, Open X-Embodiment e ABC-130k, registram robôs. Este registra pessoas fazendo manipulações comuns, do próprio ponto de vista, com a configuração do braço medida em vez de inferida. Estimar a pose da mão a partir de vídeo egocêntrico é um problema difícil e ruidoso; aqui, as poses dos braços vêm com ground truth de sensores vestíveis.
O cartão do dataset documenta em detalhe suas próprias fraquezas. A distribuição de tarefas é muito desequilibrada: dobrar roupa representa 67,5% de todas as horas e as classes da cauda têm menos de três horas cada, então o cartão adverte contra tratá-lo como um dataset equilibrado de nove classes de atividade. Os colaboradores são poucos e com pesos desiguais: o maior fornece 16,1% das horas e os cinco maiores 57,2%, então o cartão recomenda dividir por contributor_id: uma divisão aleatória vaza a mesma pessoa, casa e equipamento de câmera entre treino e teste e infla os resultados. Os dados demográficos são divulgados e descritos como não representativos: entre quem informou, a idade mediana é 26 anos e 15 de 17 são homens. As leituras brutas de acelerômetro, giroscópio e magnetômetro cobrem apenas 2.841 gravações, e o cartão indica o campo exato pelo qual filtrar. O controle de qualidade aplicou detecção de mãos MediaPipe e verificações de brilho HSV, desfoque laplaciano e estabilidade de fluxo óptico em cada gravação; as 472 gravações rejeitadas estão incluídas e marcadas, como exemplos negativos.
A empresa por trás dele, a Eidon AI (que operava como Solidic Labs Inc), encerrou as atividades. Ela liberou os dados sob CC-BY-4.0 para que os dados sobrevivessem à empresa, o que faz deste um lançamento final, e não um primeiro com mais coisas prometidas.
Por que importa
A maioria dos grandes datasets de aprendizado de robôs registra robôs sendo teleoperados. Políticas que aprendem com vídeo humano precisam de vídeo humano, e a parte difícil sempre foi saber o que os braços estavam de fato fazendo: a estimativa de pose a partir de uma câmera em primeira pessoa não é confiável no punho e é pior no ombro. Gravar 1.274 horas de trabalho doméstico real com sete IMUs no corpo responde a isso diretamente, e os dados são liberados sob uma licença permissiva.
Problema que resolve
Aprender manipulação a partir de vídeo humano exige saber o que os braços estavam fazendo, e recuperar isso de uma câmera em primeira pessoa não é confiável. Aqui foi gravado direto: orientação a 24 Hz de sete sensores usados no corpo ao lado do vídeo, mais de mil horas de trabalho doméstico sem encenação, de uso comercial livre.
Pontos principais
- 13.451 gravações, 1.273,8 horas, 27 colaboradores, 9,05 TB de MP4 de 1080p a 4K
- Sete IMUs de 9 eixos a 24 Hz: as duas mãos, os dois antebraços, os dois braços e o peito, com o peito atuando como referencial relativo ao tronco
- Vídeo e IMU são repositórios separados, unidos por recording_id; um terceiro bucket de armazenamento acrescenta 306 horas de gravações só de vídeo de 37 colaboradores
- Tarefas reais em casas reais, em vez de demonstrações encenadas: lavar roupa, limpar, lavar louça, cozinhar, desenhar, tricotar, arrumar a cama, regar plantas
- Cada gravação traz métricas de controle de qualidade e um status valid/flagged/invalid; as 472 inválidas estão incluídas deliberadamente como exemplos negativos
- O cartão do dataset aponta as armadilhas: tarefas desequilibradas, vazamento de colaboradores em uma divisão aleatória, dados demográficos escassos e qual campo de metadados indica de fato dados brutos de movimento
- CC-BY-4.0, uso comercial permitido com atribuição, publicado como lançamento final depois que a empresa por trás dele encerrou as atividades
Para quem é
- Quem treina políticas de manipulação ou modelos de mundo com vídeo de demonstração humana
- Pesquisadores de estimação de pose de mão e braço em vídeo egocêntrico que precisam de verdade de referência para avaliar
- Equipes construindo reconhecimento de atividades da vida diária, em robótica assistiva ou fora dela
- Quem estuda fusão de sensores entre visão e IMUs usadas no corpo
- Quem quer escala em dados de manipulação doméstica sem coletá-los por conta própria
Limitações
- Dobrar roupa é 67,5% de todas as horas; as atividades da cauda têm menos de três horas cada e não sustentam uma classe sozinhas
- Vinte e sete contribuidores, com os cinco primeiros fornecendo 57,2% das horas — divida por contributor_id ou sua avaliação vazará a mesma pessoa, casa e equipamento para os dois lados
- A demografia é escassa e enviesada: entre quem respondeu, mediana de 26 anos e 15 de 17 homens
- Os dados brutos de acelerômetro, giroscópio e magnetômetro cobrem apenas 2.841 das 13.451 gravações; os quatérnios de orientação estão em todas, mas os fluxos brutos são de adesão voluntária
- O vídeo está sem tratamento — sem desfoque de rostos nem tarjas, gravado dentro de casas particulares, e o cartão é explícito ao dizer que a captura incidental de rostos, documentos ou telas não pode ser descartada
- 9,05 TB só de vídeo, então não é um conjunto que se baixe por impulso
- Não há sincronização por hardware entre câmera e IMU; o alinhamento é por marca de tempo, com um desvio que os autores descrevem como alguns milissegundos de execução sequencial de código
- A organização que o produziu encerrou, então não haverá correções, nem v2, nem ninguém para responder além do endereço de pedido de remoção que consta no cartão