FiftyOne agora lê conjuntos de dados do LeRobot diretamente, com busca entre episódios
- Fonte: Voxel51 and Hugging Face
- Autor: Open Source Robotics
- Publicado: 2026-10-05
- Categoria: research
O FiftyOne, ferramenta de código aberto da Voxel51 para curadoria de conjuntos de dados, agora abre conjuntos LeRobot v3 sem convertê-los nem copiar vídeo. Cada episódio pode ser reproduzido com câmeras, estados e ações em sincronia e depois filtrado, buscado por texto ou por similaridade e exportado como um novo conjunto LeRobot. Só o v3 é lido; o carregador chegou no FiftyOne 1.22.0.
O FiftyOne, ferramenta de código aberto da Voxel51 para curadoria de conjuntos de dados, agora abre conjuntos LeRobot v3 como eles estão. Basta apontar para uma pasta e cada episódio vira uma amostra que pode ser reproduzida, filtrada e pesquisada, sem conversão de formato e sem recodificar ou copiar nenhum vídeo. Engenheiros da Voxel51 e da Hugging Face descreveram o suporte em 5 de outubro; o carregador em si saiu no FiftyOne 1.22.0, em 12 de setembro, e aparece nas notas de versão como o novo tipo LeRobotDataset, com um visualizador de episódios.
Como é um episódio
A importação lê apenas os arquivos de metadados do conjunto. Cada amostra é um ponteiro: para as linhas dos arquivos Parquet que guardam os estados e ações do episódio e para a janela de tempo do MP4 de cada câmera. No aplicativo, cada câmera ganha seu próprio painel, e um painel "State & Action" mostra o valor de cada junta quadro a quadro, em sincronia com o vídeo. O tipo de robô, a tarefa, a duração e a taxa de quadros de cada episódio viram campos comuns, de modo que "todos os episódios do SO-101 com mais de dez segundos" é um filtro, não um script. A documentação do FiftyOne explica a importação e os campos.
O exemplo completo
O anúncio traz um conjunto de exemplo com 497 episódios, recortado do LeRobot Community Dataset v3: cerca de dez episódios de cada um dos 50 tipos de robô. Cada episódio leva um embedding de vídeo do Qwen3-VL-Embedding-2B, calculado a partir de até 32 quadros igualmente espaçados. É isso que faz a curadoria funcionar: buscar episódios por uma descrição em texto, encontrar os mais parecidos com um episódio escolhido e pontuar cada episódio pelo quanto é incomum ou típico, para localizar quase duplicatas e pontos fora da curva antes do treinamento.
Como tirar os dados de volta
Uma seleção filtrada chega ao treinamento por três caminhos: ler as linhas no lugar por meio do ponteiro, passar os números de episódio escolhidos ao carregador LeRobotDataset do próprio LeRobot ou exportar a seleção como um novo conjunto LeRobot v3 independente. Só a exportação copia dados.
O que verificar primeiro
- Só o LeRobot v3 é lido; conjuntos mais antigos precisam ser convertidos antes com as ferramentas do LeRobot. - As amostras apontam para os arquivos de origem, então um conjunto movido ou alterado precisa ser importado de novo. - Os números de episódio recomeçam do zero em cada conjunto de origem. Ao carregar vários juntos, filtre pelo nome do conjunto antes de exportar ou treinar e exporte um conjunto de origem por vez, porque os esquemas são diferentes. - Carregar um conjunto LeRobot direto do Hugging Face Hub exigiu uma correção mesclada em 5 de outubro, depois da versão mais recente (1.22.1); até a próxima versão, uma pasta local é o caminho seguro.
Por que importa
A maioria dos conjuntos de dados de aprendizado robótico é julgada pelo tamanho, porque olhar dentro deles é lento: milhares de episódios, várias câmeras em cada um e nenhuma forma rápida de ver quais são quase cópias, quais estão quebrados e quais mostram algo raro. Uma ferramenta que lê o formato LeRobot no lugar, reproduz qualquer episódio com os valores das juntas ao lado e ordena os episódios pelo quanto são típicos ou incomuns torna a inspeção barata o bastante para ser feita antes de cada treinamento. Ela também dá aos conjuntos da comunidade, gravados em braços de baixo custo, as mesmas ferramentas de curadoria que os conjuntos de imagens têm há anos.
Pontos principais
- O FiftyOne 1.22.0 e posteriores carregam conjuntos LeRobot v3 com uma única chamada; nada é convertido, recodificado ou copiado na importação
- Cada episódio é uma amostra: cada câmera toca em seu painel, com estados e ações das juntas quadro a quadro em sincronia com o vídeo
- Tipo de robô, tarefa, duração e taxa de quadros são campos consultáveis, então selecionar episódios é um filtro, não um script
- Com embeddings de vídeo, os episódios podem ser buscados por texto, associados a episódios semelhantes e pontuados como incomuns ou típicos
- Uma seleção volta ao treinamento no lugar, pelo carregador do próprio LeRobot ou como conjunto LeRobot v3 exportado
- Só o v3 é suportado, e carregar do Hugging Face Hub exige uma correção mesclada depois da versão 1.22.1
Aspecto open source
O FiftyOne é de código aberto sob Apache-2.0, e o suporte ao LeRobot está nesse pacote aberto, não atrás do produto comercial FiftyOne Enterprise da Voxel51. O conjunto de exemplo está publicado sob Apache-2.0 no Hugging Face Hub e se apoia em gravações contribuídas pela comunidade LeRobot. As notas de versão, porém, listam separadamente o carregamento de conjuntos LeRobot a partir de armazenamento em nuvem; essa é a parte a conferir na lista de recursos do Enterprise antes de planejar em torno dela.
Tecnologias relacionadas
- FiftyOne
- LeRobot
- LeRobot dataset v3
- Qwen3-VL-Embedding
- Parquet
- Hugging Face Hub
Projetos relacionados
Links
- Fonte: https://huggingface.co/blog/harpreetsahota/fiftyone-now-reads-lerobot-50-embodiments-497-epis