Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

USD

  • Também chamado: Universal Scene Description, OpenUSD, Pixar USD
  • Categoria: Software & tooling › Tools & formats
  • Tags: robot-description, simulation, file-format

Formato aberto de descrição de cenas criado pela Pixar que o Isaac Sim e outros simuladores usam para descrever robôs, ambientes e sua física em arquivos em camadas.

Definição

Universal Scene Description (USD) é um framework aberto para descrever cenas 3D, criado na Pixar para a produção de filmes e lançado como código aberto em 2016. Um stage USD é uma hierarquia de prims, cada uma com propriedades tipadas, e pode ser montado a partir de muitos arquivos: as subcamadas empilham alterações umas sobre as outras, referências e payloads trazem outros assets, e os variant sets alternam entre opções, como duas garras no mesmo braço. Os arquivos podem ser texto legível (.usda), binário compacto (.usdc) ou um pacote compactado (.usdz).

A robótica o adotou porque a simulação para aprendizado de robôs precisa de mundos inteiros, não de robôs isolados. A NVIDIA construiu o Isaac Sim e o Omniverse sobre o USD, de modo que um robô, seus sensores, o armazém onde ele trabalha e os objetos que manipula ficam todos em um mesmo stage. O esquema UsdPhysics acrescenta corpos rígidos, formas de colisão, propriedades de massa, juntas e cadeias articuladas (articulations), e é isso que transforma um modelo renderizado em algo que um motor de física consegue simular passo a passo. Robôs descritos em URDF ou MJCF geralmente são convertidos para USD na importação, em vez de serem escritos diretamente em USD.

Na prática, o que mais importa é o sistema de composição. Várias pessoas podem trabalhar na mesma cena sem sobrescrever o trabalho umas das outras, e uma cena de treinamento aleatorizada pode trocar texturas, iluminação ou a posição dos objetos alterando uma camada, em vez de copiar arquivos. O preço é a complexidade: o USD é muito maior que o URDF, suas convenções específicas para robótica ainda estão se firmando e o mesmo robô pode aparecer de forma diferente dependendo da ferramenta que gravou o arquivo.

A Alliance for OpenUSD, fundada em 2023 por Pixar, Adobe, Apple, Autodesk e NVIDIA, trabalha agora na sua padronização. O código é publicado sob a Tomorrow Open Source Technology License, que é a licença Apache 2.0 com uma seção de marcas diferente.

Por que importa

Uma parcela crescente da simulação robótica usa USD para descrever o mundo em que um robô trabalha, e não só o próprio robô. Isso importa porque o aprendizado de robôs em larga escala depende de muitas cenas variadas, e as camadas do USD permitem que uma equipe construa um ambiente, o varie por programação e o compartilhe sem copiar arquivos. Quem leva um robô para o Isaac Sim, ou usa bibliotecas de assets prontos para simulação, vai encontrá-lo, geralmente depois de converter um modelo URDF ou MJCF.

Principais aplicações

  • Descrever robôs, sensores e ambientes no Isaac Sim e no Omniverse
  • Criar bibliotecas de assets prontos para simulação que muitos projetos podem reutilizar
  • Aleatorizar cenas para dados sintéticos e aprendizado de robôs sem copiar arquivos
  • Gêmeos digitais de fábricas e armazéns que combinam CAD, robôs e layout
  • Trocar cenas 3D entre ferramentas de CAD, renderização e simulação

Na prática

A maioria das equipes de robótica não escreve USD à mão. Elas exportam o robô do CAD ou convertem um arquivo URDF ou MJCF existente com o importador de um simulador e depois conferem o resultado: eixos e limites das juntas, formas de colisão e propriedades de massa são onde as conversões costumam dar errado. Os ambientes são montados a partir de assets referenciados, e as variações de treinamento são aplicadas como camadas separadas para que a cena base fique intacta. Arquivos de texto .usda são úteis para ler e comparar diferenças; arquivos binários .usdc, para qualquer coisa grande.

Equívocos comuns

  • O USD substitui o URDF: na prática, a maioria dos robôs ainda é descrita primeiro em URDF e MJCF, e o USD costuma ser o formato para o qual são convertidos para simulação
  • Um arquivo USD é um único arquivo: um stage normalmente é composto de muitas camadas e assets referenciados, e mover um arquivo sem os outros o quebra
  • Converter um robô para USD preserva sua física automaticamente: limites das juntas, acionamentos, formas de colisão e inércia muitas vezes precisam ser conferidos após a importação
  • O USD é um formato da NVIDIA: ele foi criado na Pixar e hoje é padronizado pela Alliance for OpenUSD

Quem deve saber

  • Qualquer pessoa que leve um robô para o Isaac Sim ou outro simulador baseado em USD
  • Engenheiros que constroem ambientes de simulação ou gêmeos digitais
  • Pesquisadores que geram dados de treinamento sintéticos com cenas aleatorizadas
  • Desenvolvedores que convertem modelos de robôs entre URDF, MJCF e USD

Tecnologias relacionadas

  • URDF
  • MJCF
  • NVIDIA Isaac Sim
  • NVIDIA Omniverse
  • Esquema UsdPhysics
  • glTF
  • Assets SimReady

Termos relacionados

  • URDF
  • Digital Twin
  • Sim2Real
  • Domain Randomization

Projetos relacionados

  • GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • text-to-cad: Lets AI coding agents design parts in Python CAD and export robots to MuJoCo
  • SolidCraft: Open-source parametric 3D CAD in Rust that exports robot assemblies to URDF
  • PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
  • Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages

Vídeos

  • Five Things to Know About USD | NVIDIA Omniverse Tutorials: NVIDIA
  • Import Your Robots From URDF to USD - Isaac Sim Tutorial: LycheeAI

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.