RoboDojo

Benchmark de manipulação que roda no Isaac Sim e em braços reais

Licença

MIT

Visão geral

O RoboDojo é um benchmark para políticas generalistas de manipulação que cobre simulação e hardware real no mesmo lugar: 42 tarefas de Isaac Sim em cinco dimensões de capacidade, e 18 tarefas do mundo real em braços Piper X, Piper e ARX X5. A peça que o torna utilizável é o XPolicyLab, que unifica mais de 40 políticas atrás de uma única interface, de modo que a mesma definição roda em simulação e num robô real. Os arranjos são controlados por semente para reprodutibilidade, e um único comando summarize agrega as execuções numa tabela de classificação.

O catálogo já traz LIBERO, RLBench, Meta-World, CALVIN e SimplerEnv, e todos eles param no simulador. A alegação distintiva do RoboDojo é que a metade real não é um adendo: 18 tarefas em três plataformas de braço real convivem com as 42 simuladas, sob a mesma interface de política. Se a pontuação simulada de uma política prevê a real é a pergunta que o campo mais precisa responder e menos costuma medir, e um benchmark feito para colocá-la de frente vale a pena.

Na prática, o repositório separa o esqueleto do simulador e seus gerenciadores, a configuração de ambiente para simulador, cena, robô e câmera, a lógica de tarefas com seus YAMLs, e o XPolicyLab como servidor de políticas e camada de integração. Os ativos — robôs, objetos, materiais e arranjos — são baixados em vez de embutidos. O site de documentação é tratado como a referência canônica e cobre instalação, avaliação rápida, integração de uma política nova no XPolicyLab, as listas de tarefas simuladas e reais, configuração e solução de problemas — mais atenção ao caminho de partida do que a maioria dos benchmarks consegue.

Por que importa

Benchmarks de manipulação simulados ficaram fáceis de saturar e difíceis de acreditar: um número no LIBERO diz pouco sobre se uma política vai funcionar numa bancada. O RoboDojo põe as duas metades sob uma interface para que a comparação possa de fato ser feita, e faz isso com mais de 40 políticas já integradas, que é a diferença entre um benchmark que dá para usar esta semana e um para o qual você teria de portar seu trabalho primeiro.

Problema que resolve

Resultados de manipulação são relatados em simulação e implantados em hardware, e ninguém sabe dizer o quanto o primeiro prevê o segundo porque os dois são medidos com ferramental diferente. O RoboDojo os põe atrás de uma interface de política para que a mesma coisa possa rodar nos dois lugares.

Pontos principais

• 42 tarefas de Isaac Sim em cinco dimensões de capacidade, mais 18 tarefas do mundo real em braços Piper X, Piper e ARX X5
• O XPolicyLab unifica mais de 40 políticas atrás de uma interface, então a mesma definição roda em simulação e em hardware real
• Arranjos controlados por semente e um único passo summarize agregam as execuções numa tabela de classificação
• Simulação e realidade são projetadas como duas metades de um benchmark, não como um simulador com uma demo real pregada
• Os ativos são baixados em vez de embutidos, o que mantém o próprio repositório leve
• O site de documentação é a referência canônica e trata de integrar políticas novas, não só de rodar as existentes

Para quem é

• Grupos que relatam resultados de manipulação generalista e querem um número real ao lado do simulado
• Quem compara políticas VLA e está cansado de cada artigo trazer o próprio arcabouço
• Donos de braços Piper, Piper X ou ARX X5 com uma política para avaliar
• Pesquisadores integrando uma política nova e querendo rodá-la em muitas tarefas de uma vez

Limitações

• A metade real exige hardware específico — Piper X, Piper ou ARX X5 — então a maioria dos leitores só consegue rodar as 42 simuladas
• O Isaac Sim é uma dependência pesada com exigências próprias de GPU, e a documentação tem uma página de solução de problemas de memória de GPU por bons motivos
• Os ativos precisam ser baixados à parte, então o benchmark não é autocontido
• O artigo por trás (arXiv 2607.04434) é uma prepublicação sem local de publicação, então o desenho do benchmark não passou por revisão
• Uma tabela de classificação vale o tanto de sua participação, e nesta idade isso não está provado
• O XPolicyLab integrar mais de 40 políticas é um ônus de manutenção que vai aparecer se o projeto desacelerar