Inspect Robots

Define un banco de pruebas una vez y ejecuta cualquier política en cualquier robot

Licencia

MIT

Resumen

Inspect Robots es un marco abierto de evaluación para IA física. Defines un banco de pruebas robótico una vez y después ejecutas cualquier política contra cualquier encarnación compatible: un agente LLM o un VLA, sobre un brazo real, un humanoide o un simulador. Cada ejecución produce registros auditables —puntuaciones del evaluador, la transcripción completa del LLM y la configuración íntegra— y hay visualización de primera clase con Rerun, así que una ejecución se puede ver y no solo tabular. El proyecto se describe como el Inspect AI de la robótica, y la comparación encaja: el valor está en el arnés y en el registro, no en ninguna tarea concreta.

La estructura que importa es la separación entre banco, política y montaje. La definición del banco no sabe qué la ejecutará; una política no sabe sobre qué corre; un plugin de montaje aporta la encarnación. Eso hace que «ejecuta cualquier política contra cualquier encarnación» sea más que un eslogan: instalar inspect-robots-yam, por ejemplo, trae a la vez una política molmoact2 y un montaje yam_arms, y el mismo banco corre sin cambios. Hay soporte de primera clase para brazos SO-100 y SO-101 que reutiliza la calibración de LeRobot, que es la diferencia entre un marco que puede usar un aficionado y otro que da por supuesto un laboratorio.

Los estándares de ingeniería son inusualmente visibles para un proyecto tan joven: CI, mypy estricto y distintivos que declaran 100% de cobertura de pruebas y de docstrings públicos, con Python 3.10 a 3.13 y un sitio de documentación en docs.inspectrobots.org. Se instala con uv o pip, y el extra rerun trae el visor en vivo. Los autores son igual de visibles sobre la madurez: el README lleva un distintivo alfa y pide fijar una versión, porque la API puede cambiar entre lanzamientos.

Es además el arnés detrás de un resultado publicado: Robocurve lo usó para ejecutar GPT-6 Astra y Claude Fable 5.1 sobre los mismos brazos YAM y publicó los 120 ensayos, que es la mejor demostración disponible de que el registro es de verdad auditable.

Por qué importa

Las afirmaciones sobre modelos controlando robots suelen ser infalsables: un vídeo de demostración, sin arnés, sin número de ensayos, sin forma de repetirlo. El utillaje compartido de evaluación es lo que convirtió las afirmaciones sobre modelos de lenguaje en algo discutible, y la robótica no tenía equivalente. Este es un intento creíble y, sobre todo, barato de adoptar: alguien con un SO-101 en la mesa puede instalarlo y correr el mismo banco que corrió un laboratorio, que es la propiedad que decide si un marco de evaluación se extiende.

Qué problema resuelve

No hay una forma compartida de preguntar si una política es realmente buena en una tarea física, así que cada afirmación llega en sus propios términos y ninguna se puede comparar. Inspect Robots aporta el arnés, la calificación y el rastro de auditoría, y los mantiene independientes del robot para que la misma pregunta se pueda hacer a hardware distinto.

Puntos clave

• Banco, política y encarnación son asuntos separados, así que el mismo banco corre contra un agente LLM o un VLA, sobre un brazo real, un humanoide o un simulador
• Cada ejecución emite registros auditables: puntuaciones del evaluador, transcripción completa del LLM y configuración íntegra
• La visualización de primera clase con Rerun significa que una ejecución se puede ver, no solo puntuar
• El soporte de primera clase para SO-100 y SO-101 reutiliza la calibración de LeRobot, así que los brazos baratos son un objetivo soportado y no una ocurrencia tardía
• Los plugins de montaje empaquetan política y encarnación juntas: inspect-robots-yam aporta una política molmoact2 y un montaje yam_arms
• CI, mypy estricto y distintivos que declaran 100% de cobertura de pruebas y docstrings, en Python 3.10-3.13
• Es el arnés detrás de la evaluación publicada de GPT-6 Astra por Robocurve, donde se liberaron los 120 ensayos con sus trazas

Para quién es

• Quien evalúe un agente LLM o un VLA en un robot real y quiera que el resultado sea comprobable
• Propietarios de SO-100 y SO-101 que quieran medir una política en hardware que ya tienen
• Grupos de investigación que estandarizan cómo informan resultados de manipulación
• Quien vaya a reproducir o discutir una evaluación robótica publicada

Limitaciones

• Explícitamente alfa: el README dice que la API puede cambiar entre lanzamientos y pide fijar una versión antes de depender de ella
• El conjunto de montajes soportados es pequeño —lo documentado son brazos YAM y SO-100/101—, así que cualquier otra encarnación implica escribir un plugin
• Los distintivos de cobertura y tipado los declara la propia CI del proyecto, sin auditoría independiente
• En el uso publicado la calificación la hizo una persona con una rúbrica, así que el marco estandariza el registro, no elimina al humano de la puntuación
• Lo construye y mantiene el mismo grupo que publica evaluaciones con él, lo cual es eficiente pero significa que utillaje y resultados no son independientes entre sí
• Joven: el repositorio data de finales de junio de 2026