Inspect Robots

Définir un banc d'essai une fois, exécuter n'importe quelle politique sur n'importe quel robot

Licence

MIT

Aperçu

Inspect Robots est un cadre d'évaluation ouvert pour l'IA physique. On définit un banc d'essai robotique une fois, puis on exécute n'importe quelle politique contre n'importe quelle incarnation compatible : un agent LLM ou un VLA, sur un bras réel, un humanoïde ou un simulateur. Chaque exécution produit des journaux auditables — notes de l'évaluateur, transcription complète du LLM et configuration intégrale — et la visualisation Rerun est de première classe, si bien qu'une exécution se regarde au lieu de se limiter à un tableau. Le projet se décrit comme l'Inspect AI de la robotique, et la comparaison tient : la valeur est dans le harnais et la tenue des traces, pas dans une tâche particulière.

La structure qui compte est la séparation entre banc, politique et monture. Une définition de banc ignore ce qui l'exécutera ; une politique ignore sur quoi elle tourne ; un greffon de monture fournit l'incarnation. C'est ce qui fait de « n'importe quelle politique contre n'importe quelle incarnation » autre chose qu'un slogan — installer inspect-robots-yam, par exemple, apporte à la fois une politique molmoact2 et une monture yam_arms, et le même banc s'exécute sans changement. La prise en charge des bras SO-100 et SO-101 est de première classe et réutilise l'étalonnage de LeRobot, ce qui fait la différence entre un cadre utilisable par un amateur et un cadre qui suppose un laboratoire.

Les standards d'ingénierie sont inhabituellement visibles pour un projet aussi jeune : CI, mypy strict, et des badges annonçant 100 % de couverture de tests et de docstrings publiques, avec Python 3.10 à 3.13 et un site de documentation sur docs.inspectrobots.org. L'installation passe par uv ou pip, et l'extra rerun apporte le visualiseur en direct. Les auteurs sont tout aussi visibles sur la maturité : le README porte un badge alpha et demande d'épingler une version, car l'API peut changer d'une version à l'autre.

C'est aussi le harnais derrière un résultat publié : Robocurve s'en est servi pour faire tourner GPT-6 Astra et Claude Fable 5.1 sur les mêmes bras YAM et a publié les 120 essais, ce qui constitue la meilleure démonstration disponible que la journalisation est réellement auditable.

Pourquoi c'est important

Les affirmations sur des modèles pilotant des robots sont d'ordinaire infalsifiables : une vidéo de démonstration, pas de harnais, pas de nombre d'essais, aucun moyen de rejouer. L'outillage d'évaluation partagé est ce qui a rendu discutables les affirmations sur les modèles de langage, et la robotique n'avait pas d'équivalent. Voici une tentative crédible, et surtout peu coûteuse à adopter : quelqu'un avec un SO-101 sur son bureau peut l'installer et exécuter le même banc qu'un laboratoire, propriété qui décide de la diffusion d'un cadre d'évaluation.

Le problème résolu

Il n'existe pas de manière partagée de demander si une politique est réellement bonne à une tâche physique : chaque affirmation arrive selon ses propres termes et aucune n'est comparable. Inspect Robots fournit le harnais, la notation et la piste d'audit, et les garde indépendants du robot afin que la même question puisse être posée à du matériel différent.

Points clés

• Banc, politique et incarnation sont des préoccupations séparées : le même banc s'exécute contre un agent LLM ou un VLA, sur un bras réel, un humanoïde ou un simulateur
• Chaque exécution émet des journaux auditables : notes de l'évaluateur, transcription complète du LLM et configuration intégrale
• La visualisation Rerun de première classe permet de regarder une exécution et pas seulement de la noter
• La prise en charge de première classe des SO-100 et SO-101 réutilise l'étalonnage de LeRobot : les bras bon marché sont une cible soutenue et non une arrière-pensée
• Les greffons de monture regroupent politique et incarnation — inspect-robots-yam fournit une politique molmoact2 et une monture yam_arms
• CI, mypy strict et badges annonçant 100 % de couverture de tests et de docstrings, sur Python 3.10-3.13
• C'est le harnais derrière l'évaluation publiée de GPT-6 Astra par Robocurve, où les 120 essais ont été diffusés avec leurs traces

Pour qui

• Quiconque évalue un agent LLM ou un VLA sur un robot réel et veut un résultat vérifiable
• Possesseurs de SO-100 et SO-101 qui veulent mesurer une politique sur du matériel qu'ils ont déjà
• Groupes de recherche qui uniformisent la façon dont ils rapportent des résultats de manipulation
• Ceux qui reproduisent ou contestent une évaluation robotique publiée

Limites

• Explicitement alpha : le README indique que l'API peut changer d'une version à l'autre et demande d'épingler une version avant d'en dépendre
• L'ensemble des montures prises en charge est réduit — seuls les bras YAM et SO-100/101 sont documentés — toute autre incarnation suppose donc d'écrire un greffon
• Les badges de couverture et de typage proviennent de la CI du projet lui-même, sans audit indépendant
• Dans l'usage publié, la notation a été faite par un humain selon une grille : le cadre uniformise la tenue des traces, il ne retire pas l'humain de la notation
• Construit et maintenu par le groupe même qui publie des évaluations avec — efficace, mais outillage et résultats ne sont donc pas indépendants l'un de l'autre
• Jeune : le dépôt date de fin juin 2026