Inspect Robots

Definisci un benchmark di robotica una volta, esegui qualsiasi policy su qualsiasi robot

Licenza

MIT

Panoramica

Inspect Robots è un framework di valutazione aperto per la physical AI. Si definisce un benchmark di robotica una sola volta, poi si esegue qualsiasi policy su qualsiasi embodiment compatibile: un agente LLM o un modello Vision-Language-Action (VLA), su un braccio reale, un umanoide o un simulatore. Ogni esecuzione produce log verificabili (punteggi del valutatore, la trascrizione LLM completa e la configurazione completa) e c'è un supporto nativo per la visualizzazione con Rerun, così un'esecuzione può essere osservata anziché solo messa in tabella. Il progetto si descrive come Inspect AI per la robotica, e il paragone è calzante: il valore sta nell'infrastruttura di valutazione e nella tenuta dei registri più che in un compito particolare.

La struttura che conta è la separazione tra benchmark, policy e rig. La definizione di un benchmark non sa che cosa lo eseguirà; una policy non sa su che cosa sta girando; un plugin di rig fornisce l'embodiment. È questo che rende «eseguire qualsiasi policy su qualsiasi embodiment» più di uno slogan: installando inspect-robots-yam, per esempio, si ottengono sia una policy molmoact2 sia un rig yam_arms, e lo stesso benchmark gira poi senza modifiche. C'è un supporto nativo per i bracci SO-100 e SO-101 che riutilizza la calibrazione di LeRobot, ed è questa la differenza tra un framework che un hobbista può usare e uno che presuppone un laboratorio.

Gli standard di ingegneria sono insolitamente visibili per un progetto così giovane: CI, mypy in modalità strict e badge che dichiarano il 100% di copertura dei test e delle docstring pubbliche, con Python dalla 3.10 alla 3.13 e un sito di documentazione su docs.inspectrobots.org. Si installa con uv o pip, e l'extra rerun aggiunge il visualizzatore delle esecuzioni in tempo reale. Gli autori sono altrettanto trasparenti sulla maturità: il README riporta un badge alpha e chiede di fissare una versione, perché l'API può cambiare tra un rilascio e l'altro.

È anche l'infrastruttura di valutazione dietro un risultato pubblicato: Robocurve lo ha usato per eseguire GPT-6 Astra e Claude Fable 5.1 sugli stessi bracci YAM e ha rilasciato tutte le 120 prove, che è la migliore dimostrazione disponibile del fatto che i log sono davvero verificabili.

Perché è importante

Le affermazioni sui modelli che controllano robot sono di solito non falsificabili: un video dimostrativo, nessuna infrastruttura di valutazione, nessun numero di prove, nessun modo di ripeterle. Sono stati gli strumenti di valutazione condivisi a trasformare le affermazioni sui modelli linguistici in qualcosa di discutibile, e la robotica non ha avuto un equivalente. Questo è un tentativo credibile di crearne uno e, soprattutto, è economico da adottare: chi ha un SO-101 sulla scrivania può installarlo ed eseguire lo stesso benchmark eseguito da un laboratorio, ed è questa la proprietà che decide se un framework di valutazione si diffonde.

Il problema che risolve

Non esiste un modo condiviso per chiedersi se una policy sia davvero valida in un compito fisico, quindi ogni affermazione arriva alle proprie condizioni e nessuna può essere confrontata con le altre. Inspect Robots fornisce l'infrastruttura di valutazione, l'assegnazione dei punteggi e la traccia di audit, e li mantiene indipendenti dal robot, così la stessa domanda può essere posta a hardware diversi.

Punti chiave

Benchmark, policy ed embodiment sono aspetti separati, quindi lo stesso benchmark gira con un agente LLM o un VLA, su un braccio reale, un umanoide o un simulatore
Ogni esecuzione produce log verificabili: punteggi del valutatore, la trascrizione LLM completa e la configurazione completa
Il supporto nativo per la visualizzazione con Rerun significa che un'esecuzione può essere osservata, non solo valutata
Il supporto nativo per SO-100 e SO-101 riutilizza la calibrazione di LeRobot, così i bracci a basso costo sono un obiettivo supportato e non un ripiego
I plugin di rig raggruppano policy ed embodiment: inspect-robots-yam fornisce una policy molmoact2 e un rig yam_arms
CI, mypy in modalità strict e badge che dichiarano il 100% di copertura di test e docstring, su Python 3.10-3.13
È l'infrastruttura di valutazione dietro la valutazione di GPT-6 Astra pubblicata da Robocurve, in cui tutte le 120 prove sono state rilasciate con le tracce

A chi si rivolge

Chiunque valuti un agente LLM o un VLA su un robot reale e voglia che il risultato sia verificabile
Possessori di SO-100 e SO-101 che vogliono valutare una policy sull'hardware che hanno già
Gruppi di ricerca che standardizzano il modo in cui riportano i risultati di manipolazione
Chi riproduce o contesta una valutazione robotica pubblicata

Limiti

Dichiaratamente in fase alpha: il README dice che l'API può cambiare tra un rilascio e l'altro e chiede di fissare una versione prima di farvi affidamento
L'insieme dei rig supportati è piccolo: sono documentati i bracci YAM e gli SO-100/101, quindi qualsiasi altro embodiment richiede di scrivere un plugin
I badge di copertura e di tipizzazione sono autodichiarati dalla CI del progetto stesso e non verificati in modo indipendente
Nell'uso pubblicato, i punteggi sono stati assegnati da una persona secondo una griglia, quindi il framework standardizza la tenuta dei registri anziché eliminare l'essere umano dalla valutazione
È sviluppato e mantenuto dallo stesso gruppo che pubblica valutazioni fatte con esso: è efficiente, ma significa che gli strumenti e i risultati non sono indipendenti tra loro
Giovane: il repository risale alla fine di giugno 2026