Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

ABC-130k

Maior conjunto de dados aberto de teleoperação robótica bimanual: 130.919 episódios

Licença

Apache-2.0

Visão geral

ABC-130k é o maior conjunto de dados de teleoperação robótica de código aberto. Ele contém 130.919 trajetórias de manipulação bimanual — 3.598 horas no total — coletadas em estações YAM de dois braços, cada uma equipada com dois braços de 6-DOF, garras de mandíbulas paralelas e três câmeras (uma superior e duas montadas no punho). 43.090 dos episódios contêm anotações de subtarefas, armazenadas separadamente dos dados dos episódios. O conjunto de dados é lançado sob Apache-2.0 no formato MCAP, com estados das juntas, posições das garras e fluxos de vídeo sincronizados, além de um artigo de pesquisa complementar e código de treinamento/implantação. Criado pela Amazon FAR.

O ABC-130k mira o gargalo central da manipulação generalista — a escala e a diversidade de dados reais de robôs — e o faz para o cenário bimanual mal atendido. Cada trajetória é uma demonstração de teleoperação humana em uma estação YAM padronizada de dois braços, capturada como MCAP com estado completo de juntas/garras e três visões de câmera sincronizadas. Um grande subconjunto anotado adiciona rótulos de subtarefas para aprendizado e avaliação mais granulares. Com 130.919 episódios e 3.598 horas, é, até o momento, o maior corpus de teleoperação com licença aberta, e vem acompanhado de código para treinar e implantar políticas sobre os dados.

Por que importa

As políticas de manipulação generalista são limitadas pela escala e diversidade de dados reais de robôs, e a maioria dos grandes conjuntos de dados abertos é de braço único. O ABC-130k é ao mesmo tempo de escala de fundação e bimanual, cobrindo a coordenação de dois braços que mais falta à área, e fornece à comunidade um recurso com licença aberta para treinamento e benchmarking de manipulação bimanual. Cerca de 32.000 downloads por mês sinalizam uma adoção forte e imediata.

Problema que resolve

Os dados abertos de aprendizado robótico são em sua maioria de braço único e limitados em escala; não havia um conjunto de dados de teleoperação bimanual de escala de fundação e com licença aberta para treinar e fazer benchmarking de manipulação de dois braços.

Pontos principais

  • Maior conjunto de dados de teleoperação aberto até o momento: 130.919 episódios, 3.598 horas, ~22 TB
  • Estações YAM bimanuais de dois braços: dois braços de 6-DOF, garras paralelas, três câmeras
  • 43.090 episódios com anotações de subtarefas armazenadas separadamente dos dados dos episódios
  • Formato MCAP com estado de juntas/garras e vídeo sincronizado, além de artigo e código de treinamento/implantação
  • Licenciado sob Apache-2.0; ~32k downloads/mês

Para quem é

  • Pesquisadores de manipulação bimanual
  • Treinadores de modelos de fundação para robôs
  • Equipes de aprendizado por imitação
  • Construtores de benchmarks e avaliações

Limitações

  • ~22 TB no total — requisitos significativos de armazenamento e largura de banda
  • Coletado em uma única plataforma de hardware (estações YAM de dois braços)
  • Demonstrações de teleoperação, não trajetórias autônomas ou ótimas
  • As anotações de subtarefas cobrem um subconjunto (43.090 de 130.919 episódios)

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.