Open Source Robotics

Uma coleção selecionada de projetos, ferramentas e software de robótica de código aberto de alta qualidade.

MuJoCo Playground

Suíte MuJoCo do Google DeepMind para treinar robôs em simulação e rodá-los em braços reais

Licença

  • code (the whole repository, including its copy of reaf-sim): Apache 2.0
  • robot models (MuJoCo Menagerie: SO-101; YAM; WidowX AI and Unitree G1): Apache 2.0, MIT, BSD 3-Clause

Código: Apache-2.0, segundo LICENSE, que cobre o repositório inteiro, incluindo sua cópia do reaf-sim. Os modelos dos robôs são carregados do MuJoCo Menagerie sob suas próprias licenças permissivas: SO-101 Apache-2.0, YAM MIT, WidowX AI e Unitree G1 BSD-3-Clause. O exemplo de rastreamento do G1 usa clipes de movimento baixados à parte; a captura de movimento do LAFAN1 da qual foram adaptados tem licença CC BY-NC-ND 4.0, então verifique esses dados antes de uso comercial. Verificado em 2026-11-09 com base em LICENSE e nas licenças dos modelos do Menagerie.

Visão geral

MuJoCo Playground é uma suíte de código aberto de ambientes de robôs e fluxos de trabalho com hardware da equipe de simulação robótica do Google DeepMind, construída sobre MuJoCo, MuJoCo Warp e o framework de ambientes reaf-sim. A versão 1.0, lançada em 6 de novembro de 2026, a reconstrói em PyTorch e junta ao modelo de simulação de cada robô um driver de hardware por trás da mesma interface, de modo que uma tarefa e uma política treinada rodam em simulação ou no robô real com a troca de um único flag. Ela traz aprendizado por reforço em grandes lotes com RSL-RL, teleoperação líder-seguidor, identificação de sistemas, implantação zero-shot da simulação para o mundo real e um ambiente em que um modelo de visão e linguagem controla um braço de mesa. Os braços SO-101 e i2rt YAM Pro são suportados em simulação e em hardware; o braço Trossen WidowX AI e o humanoide Unitree G1, em simulação. O código tem licença Apache-2.0.

MuJoCo Playground é uma suíte de ambientes de robôs, tarefas de aprendizado por reforço e fluxos de trabalho com hardware construída sobre MuJoCo, MuJoCo Warp e reaf-sim, a parte de simulação do Robotics Environment Authoring Framework do Google DeepMind. Cada ambiente é dividido em duas camadas. Uma camada de tarefa transforma ações em comandos e calcula observações, recompensas e condições de término, sem nunca ver o estado privilegiado do simulador. Uma camada de dispositivos recebe esses comandos e devolve medições, vindas do MuJoCo na CPU, do MuJoCo Warp na GPU ou de um robô físico. Como a camada de tarefa só conversa com a camada de dispositivos, o mesmo código de tarefa e a mesma política treinada rodam em simulação (--mode=sim) ou em hardware (--mode=real); o guia do reaf-sim explica a divisão.

Ela vem com cinco fluxos de trabalho. O aprendizado por reforço treina políticas PPO com RSL-RL em milhares de mundos simulados em paralelo numa GPU, a partir do estado ou dos pixels da câmera, para controle clássico, manipulação e rastreamento de movimentos de corpo inteiro em humanoides; o guia de treinamento traz os detalhes, e o início rápido treina uma política de equilíbrio de carrinho com pêndulo em cerca de 1 minuto numa CPU. A teleoperação move um braço seguidor a partir de um braço líder físico, em simulação ou em hardware, com um pedal de três botões para iniciar e avaliar episódios e logs MCAP que podem ser reproduzidos no Rerun, como mostra o guia de teleoperação. A identificação de sistemas usa a caixa de ferramentas sysid do próprio MuJoCo para ajustar a inércia de armadura, o atrito, a rigidez e o amortecimento de cada junta a trajetórias registradas no braço real. A implantação da simulação para o mundo real roda no SO-101 físico, sem treinamento adicional, uma política com câmera de punho que pega um cubo, treinada em simulação com randomização de domínio, enquanto um gêmeo digital no MuJoCo Studio espelha o braço ao vivo no navegador. O ambiente de agentes deixa um modelo de visão e linguagem controlar um braço turno a turno: uma ponte local fornece o estado do robô e uma imagem anotada da câmera de punho, e o modelo responde com um plano em Python montado com primitivas de cinemática inversa como look_at, grasp e place.

Cada robô tem seu próprio pacote com um modelo de simulação e, onde há suporte a hardware, um driver com a mesma ordem de juntas e a mesma interface de controle. Os braços SO-101 e i2rt YAM Pro rodam em simulação e em hardware, e o extra de hardware do SO-101 instala o LeRobot para seus servos Feetech; o braço Trossen WidowX AI e o humanoide Unitree G1 rodam apenas em simulação. Os modelos dos robôs são carregados do MuJoCo Menagerie, e o SO-101 e o YAM vêm com dinâmica já identificada em hardware real. O exemplo do G1 acompanha clipes de movimento no estilo do BeyondMimic. Os drivers de hardware são extras opcionais, então uma instalação só para simulação continua leve. O pacote se chama playground no PyPI, exige Python 3.12 ou 3.13, e seus exemplos rodam direto pelo uvx numa CPU ou em GPUs NVIDIA com CUDA 12 ou 13.

A versão 1.0 foi lançada em 6 de novembro de 2026 e é uma reconstrução, não uma atualização. A versão anterior, a prévia de pesquisa da RSS 2025 descrita num relatório técnico de 2025, era um conjunto de ambientes de aprendizado por reforço em GPU escritos em JAX sobre MJX e ficava na simulação. A versão 1.0 passa para PyTorch, roda sobre MuJoCo ou MuJoCo Warp, acrescenta os pacotes pareados de simulação e hardware, código de implantação, teleoperação, identificação de sistemas e o ambiente de agentes, e renderiza no MuJoCo Studio. Os ambientes em JAX e MJX continuam na pasta rss2025 do repositório e na página de arquivo da RSS 2025. A versão 1.0.1 veio em 8 de novembro de 2026 com correções, listadas no changelog. A versão 1.0 é creditada a Baruch Tabanpour, Taylor Howell, Sam Haves, Saminda Abeyruwan, Tony Ma, Dan Suh e aos colaboradores do projeto, e o vídeo de lançamento mostra cada fluxo de trabalho em braços reais.

Por que importa

A maioria dos frameworks de simulação para numa política treinada. Levar essa política a um robô real exige uma segunda pilha: drivers, calibração, um ciclo de implantação e um jeito de comparar o braço real com seu modelo. O MuJoCo Playground 1.0 entrega essa segunda metade para dois braços, o SO-101, o braço aberto e de baixo custo muito usado com o LeRobot, e o i2rt YAM Pro, e nos dois o mesmo código de tarefa cobre treinamento, coleta de dados por teleoperação, identificação de sistemas e implantação. Para quem lê nossa página do MuJoCo, é um caminho do treinamento com MuJoCo Warp até o hardware mantido pelo Google DeepMind, que também desenvolve o MuJoCo. Para quem usa mjlab e Isaac Lab, é mais uma pilha de treinamento em GPU, com menos tarefas, mas com a implantação embutida. Quem tem um SO-101 ganha um modelo de simulação com dinâmica identificada e um exemplo funcional de sim-to-real para o braço que já possui. O caminho para o hardware tem poucos dias e cobre dois braços, e a promessa de que trocar entre simulação e hardware não custa nada é da própria equipe; até agora, a única política aprendida mostrada passando para o mundo real é o SO-101 pegando um cubo.

Problema que resolve

Treinar uma política de robô em simulação e rodá-la no robô real costuma significar duas bases de código: o ambiente do simulador e uma pilha separada de drivers, calibração e código de implantação que precisa reproduzir as mesmas observações e ações. O MuJoCo Playground mantém a lógica da tarefa atrás de uma camada de dispositivos que é o simulador ou o robô, e traz drivers, teleoperação, identificação de sistemas e scripts de implantação para os braços suportados, de modo que a mesma tarefa e a mesma política passam entre simulação e hardware com um único flag.

Pontos principais

  • Suíte do Google DeepMind de ambientes de robôs e fluxos de trabalho com hardware sobre MuJoCo e MuJoCo Warp, reconstruída em PyTorch para a versão 1.0
  • O mesmo código de tarefa e a mesma política treinada rodam em simulação ou no robô real, porque as tarefas só enxergam uma camada de dispositivos
  • Fluxos de trabalho para aprendizado por reforço em GPU com RSL-RL, teleoperação, identificação de sistemas, implantação sim-to-real e controle por um modelo de visão e linguagem
  • Braços SO-101 e i2rt YAM Pro em simulação e em hardware; Trossen WidowX AI e Unitree G1 em simulação
  • Robôs e políticas podem ser acompanhados ao vivo no MuJoCo Studio, no navegador
  • Apache-2.0 e instalável pelo PyPI como playground; a versão da RSS 2025 em JAX e MJX continua no repositório

Para quem é

  • Usuários de SO-101 e LeRobot que querem treinar em simulação e implantar no próprio braço
  • Laboratórios com braços i2rt YAM que precisam de simulação, teleoperação e identificação de sistemas para eles
  • Pesquisadores de aprendizado por reforço que treinam em GPUs com MuJoCo Warp e PyTorch
  • Equipes que criam agentes em que um modelo de visão e linguagem controla um braço robótico

Limitações

  • O suporte a hardware cobre dois braços, o SO-101 e o i2rt YAM Pro; o Trossen WidowX AI e o Unitree G1 rodam apenas em simulação
  • A versão 1.0 saiu em 6 de novembro de 2026 como uma reconstrução, então teve pouco uso fora da equipe, e a versão 1.0.1 de 8 de novembro de 2026 já mudou a interface de dispositivos
  • O exemplo zero-shot de sim-to-real é uma única tarefa, o SO-101 pegando um cubo; os outros exemplos com hardware são de teleoperação, identificação de sistemas e controle por agentes
  • O ambiente de agentes executa diretamente no robô planos em Python escritos pelo modelo de visão e linguagem, e a documentação diz para usá-lo por sua conta e risco
  • O exemplo de rastreamento do Unitree G1 precisa de clipes de movimento que você baixa por conta própria, como os clipes adaptados do LAFAN1, e os dados de captura de movimento do LAFAN1 têm licença CC BY-NC-ND 4.0
  • O treinamento em grandes lotes exige uma GPU NVIDIA com CUDA 12 ou 13; numa CPU o início rápido usa 64 mundos em paralelo, e o visualizador no macOS precisa do mjpython
  • O README afirma que não é um produto do Google com suporte oficial

Este site requer JavaScript. Por favor, habilite o JavaScript para explorar nossos projetos de robótica.