Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

O LeRobot agora treina direto de tabelas LanceDB no armazenamento de objetos

  • Fonte: Hugging Face and LanceDB
  • Autor: Open Source Robotics
  • Publicado: 2026-09-24
  • Categoria: research

A camada de dados do LeRobot agora lê tabelas LanceDB nativamente, então o treino pode ler em fluxo do armazenamento de objetos com embaralhamento global completo em vez de baixar primeiro. Com todo o DROID, a execução remota terminou 33 minutos antes de uma cópia local, com perda idêntica. O suporte está no branch principal do LeRobot, mas ainda não numa versão lançada.

Correção — 29 de outubro de 2026. Uma versão anterior desta matéria informava que o DROID tinha cerca de 27,6 milhões de frames. O post linkado não traz esse número, por isso ele foi removido.

---

O LeRobot agora pode treinar diretamente a partir de datasets armazenados como tabelas do LanceDB, lendo do armazenamento de objetos apenas os bytes de que cada batch precisa, em vez de baixar o dataset primeiro. Engenheiros da Hugging Face e do LanceDB descreveram a integração em 24 de setembro, um mês depois de o suporte em si ter sido incorporado à branch principal do LeRobot em 28 de agosto. O Lance é o primeiro formato de armazenamento alternativo que a camada de datasets do LeRobot lê nativamente, e nada precisa mudar no código de gravação ou de treinamento: o comando lerobot-train existente é apontado para uma tabela Lance e escolhe sozinho o loader certo.

O efeito prático é que um dataset grande demais para ser copiado para cada máquina de treinamento pode ficar onde está. Apontada para um Hugging Face Storage Bucket, uma execução de treinamento do SmolVLA em duas H100 consumiu do bucket as mesmas 212 amostras por segundo que consumia de uma cópia local em NVMe, com curva de perda idêntica. O teste maior usou todo o DROID — 369 GB de vídeo — lido de um armazenamento de objetos remoto com embaralhamento global sobre todos os frames. Em duas execuções de 10.000 passos, idênticas em todo o resto, em oito H100, a execução com LanceDB terminou em 1 hora e 27 minutos, contra 2 horas do leitor padrão sobre uma cópia local que antes exigiu um download de 384 GB. A execução padrão passou 37% do tempo esperando dados; a execução com LanceDB, menos de 2%. A perda final coincidiu até a quarta casa decimal.

A segunda metade do argumento é sobre curadoria. Como os dados de treinamento já são uma tabela do LanceDB, embeddings, scores derivados e índices de texto completo podem ficar como colunas nas mesmas linhas que o treinador lê, de modo que pesquisar e filtrar os dados não significa exportá-los para um banco de dados vetorial separado. Os autores geraram embeddings de 610.403 frames do DROID com o SigLIP2 e usaram consultas visuais e SQL combinadas para garimpar comportamentos sem rótulo — frames de tecido sendo movido em diferentes casas cujo texto de tarefa nunca o mencionava. Os episódios podem ser inspecionados no Foxglove diretamente a partir da tabela.

Uma varredura completa do DROID revelou três descobertas que vale a pena conhecer, seja qual for a ferramenta de treinamento: o filtro de ociosidade do OpenPI remove 11,66% do dataset e fixa no código o comprimento resultante em vez de calculá-lo; a divisão padrão 80/20 coloca cada prédio e cada coletor de dados tanto no conjunto de treinamento quanto no de validação, o que causa vazamento; e os episódios bem-sucedidos se mostraram mais bruscos do que os que falharam, o que significa que o filtro de suavidade comum descartaria dados bons. No LIBERO, em que o sucesso pode ser medido em simulação, corromper deliberadamente 30% das demonstrações e depois removê-las com três consultas à tabela resultou em uma política melhor do que treinar com o conjunto bagunçado.

Há duas coisas que precisam ficar claras. O leitor nativo está na branch principal do LeRobot, mas ainda não em uma versão com tag — a mais recente, v0.6.1, é anterior a ele — então hoje é preciso instalar a partir do código-fonte. E a etapa que adiciona uma coluna calculada sem reescrever os dados, base do fluxo de curadoria, é descrita como um recurso do LanceDB Enterprise; o leitor de código aberto e o formato Lance são aquilo de que o próprio LeRobot depende. Os autores publicaram uma demo interativa que executa essas consultas na tabela completa do DROID.

Por que importa

Os conjuntos de dados de aprendizado robótico ficaram grandes demais para o hábito de copiá-los em cada máquina de treino: só o DROID tem várias centenas de gigabytes de vídeo. Ler em fluxo do armazenamento de objetos sem perder vazão de GPU nem qualidade de embaralhamento elimina essa etapa de cópia, e manter busca, pontuações e embeddings na mesma tabela que o treinador lê transforma a curadoria numa consulta em vez de uma esteira de exportação. Os achados de uma única varredura do DROID — uma divisão padrão com vazamento, um filtro de qualidade apontando para o lado errado — mostram por que vale a pena baratear a curadoria.

Pontos principais

  • O LeRobot agora lê nativamente conjuntos de dados guardados como tabelas LanceDB; o código de gravação e de treino não muda e o lerobot-train escolhe sozinho o carregador
  • O treino pode ler em fluxo de um bucket da Hugging Face ou de outro armazenamento de objetos, com embaralhamento global sobre cada quadro e sem download
  • Com todo o DROID, uma execução remota com LanceDB terminou em 1 h 27 min contra 2 h de uma com cópia local, com perda idêntica e 1,7% do tempo esperando dados em vez de 37,4%
  • Embeddings, pontuações e índices podem viver como colunas na tabela de treino, então curadoria e garimpo viram consultas, não exportações
  • Uma varredura do DROID encontrou uma divisão treino/validação padrão com vazamento e um filtro de suavidade que remove dados bons
  • O suporte está no branch principal do LeRobot mas ainda não numa versão com tag, e o preenchimento de colunas usado na curadoria é um recurso do LanceDB Enterprise

Aspecto open source

A integração está no próprio LeRobot, sob sua licença Apache-2.0, mesclada no branch principal em 28 de agosto, e o formato Lance que ela lê é de código aberto. A linha a observar é a que a separa da oferta comercial da LanceDB: acrescentar uma coluna calculada sem reescrever uma tabela — o passo sobre o qual o fluxo de curadoria é construído — é apresentado como recurso do LanceDB Enterprise. Treinar a partir de tabelas Lance e consultá-las não depende disso.

Tecnologias relacionadas

  • LeRobot
  • LanceDB
  • Lance
  • SmolVLA
  • DROID
  • Foxglove
  • Hugging Face Storage Buckets

Links

  • Fonte: https://huggingface.co/blog/CarolinePascal/how-to-train-your-robot-the-lancedb-edition

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.