Inspect Robots

Defina um benchmark uma vez e rode qualquer política em qualquer robô

Licença

MIT

Visão geral

O Inspect Robots é um arcabouço aberto de avaliação para IA física. Você define um benchmark robótico uma vez e então roda qualquer política contra qualquer corporificação compatível: um agente LLM ou um VLA, num braço real, num humanoide ou num simulador. Cada execução produz registros auditáveis — notas do avaliador, a transcrição completa do LLM e a configuração inteira — e há visualização de primeira classe com Rerun, então uma execução pode ser assistida e não apenas tabulada. O projeto se descreve como o Inspect AI da robótica, e a comparação se sustenta: o valor está no arcabouço e no registro, não numa tarefa específica.

A estrutura que importa é a separação entre benchmark, política e montagem. A definição do benchmark não sabe o que vai executá-la; uma política não sabe sobre o que roda; um plugin de montagem fornece a corporificação. É isso que faz de 'qualquer política contra qualquer corporificação' mais que um slogan — instalar o inspect-robots-yam, por exemplo, traz tanto uma política molmoact2 quanto uma montagem yam_arms, e o mesmo benchmark roda sem mudanças. Há suporte de primeira classe a braços SO-100 e SO-101 que reaproveita a calibração do LeRobot, e essa é a diferença entre um arcabouço que um amador consegue usar e um que pressupõe um laboratório.

Os padrões de engenharia são incomumente visíveis para um projeto tão novo: CI, mypy estrito e selos declarando 100% de cobertura de testes e de docstrings públicas, com Python 3.10 a 3.13 e um site de documentação em docs.inspectrobots.org. Instala com uv ou pip, e o extra rerun traz o visualizador ao vivo. Os autores são igualmente visíveis quanto à maturidade: o README traz um selo alfa e pede que se fixe uma versão, porque a API pode mudar entre lançamentos.

É também o arcabouço por trás de um resultado publicado: a Robocurve o usou para rodar GPT-6 Astra e Claude Fable 5.1 nos mesmos braços YAM e liberou todos os 120 ensaios, o que é a melhor demonstração disponível de que o registro é de fato auditável.

Por que importa

Afirmações sobre modelos controlando robôs são em geral infalsificáveis: um vídeo de demonstração, sem arcabouço, sem número de ensaios, sem jeito de repetir. Ferramental compartilhado de avaliação foi o que transformou afirmações sobre modelos de linguagem em algo discutível, e a robótica não tinha equivalente. Esta é uma tentativa crível e, decisivamente, barata de adotar: alguém com um SO-101 na mesa instala e roda o mesmo benchmark que um laboratório rodou, e é essa propriedade que decide se um arcabouço de avaliação se espalha.

Problema que resolve

Não existe um jeito compartilhado de perguntar se uma política é de fato boa numa tarefa física, então cada afirmação chega nos próprios termos e nenhuma se compara. O Inspect Robots fornece o arcabouço, a avaliação e a trilha de auditoria, e os mantém independentes do robô para que a mesma pergunta possa ser feita a hardwares diferentes.

Pontos principais

Benchmark, política e corporificação são preocupações separadas, então o mesmo benchmark roda contra um agente LLM ou um VLA, num braço real, num humanoide ou num simulador
Toda execução emite registros auditáveis: notas do avaliador, a transcrição completa do LLM e a configuração inteira
Visualização de primeira classe com Rerun significa que uma execução pode ser assistida, não só pontuada
Suporte de primeira classe a SO-100 e SO-101 reaproveita a calibração do LeRobot, então braços baratos são alvo suportado e não um adendo
Plugins de montagem empacotam política e corporificação juntas — o inspect-robots-yam fornece uma política molmoact2 e uma montagem yam_arms
CI, mypy estrito e selos declarando 100% de cobertura de testes e docstrings, em Python 3.10-3.13
É o arcabouço por trás da avaliação publicada do GPT-6 Astra pela Robocurve, em que os 120 ensaios saíram com seus rastros

Para quem é

Quem avalia um agente LLM ou um VLA num robô real e quer que o resultado seja verificável
Donos de SO-100 e SO-101 que querem medir uma política no hardware que já têm
Grupos de pesquisa padronizando como relatam resultados de manipulação
Quem for reproduzir ou contestar uma avaliação robótica publicada

Limitações

Explicitamente alfa: o README diz que a API pode mudar entre lançamentos e pede que se fixe uma versão antes de depender dela
O conjunto de montagens suportadas é pequeno — o documentado são braços YAM e SO-100/101 —, então qualquer outra corporificação implica escrever um plugin
Os selos de cobertura e tipagem são autodeclarados pela própria CI do projeto, sem auditoria independente
No uso publicado, a avaliação foi feita por uma pessoa segundo uma rubrica, então o arcabouço padroniza o registro e não remove o humano da pontuação
Construído e mantido pelo mesmo grupo que publica avaliações com ele, o que é eficiente mas significa que ferramenta e resultados não são independentes entre si
Novo: o repositório data do fim de junho de 2026