RoboDojo

Banco de manipulación que corre en Isaac Sim y en brazos reales

Licencia

MIT

Resumen

RoboDojo es un banco de pruebas para políticas generalistas de manipulación que cubre simulación y hardware real en un mismo sitio: 42 tareas de Isaac Sim en cinco dimensiones de capacidad, y 18 tareas del mundo real sobre brazos Piper X, Piper y ARX X5. La pieza que lo hace utilizable es XPolicyLab, que unifica más de 40 políticas tras una única interfaz de modo que la misma definición corre en simulación y en un robot real. Los diseños de escena están controlados por semilla para que sean reproducibles, y un solo comando summarize agrega las ejecuciones en una tabla de clasificación.

El catálogo ya trae LIBERO, RLBench, Meta-World, CALVIN y SimplerEnv, y todos ellos se detienen en el simulador. La afirmación distintiva de RoboDojo es que la mitad real no es un añadido: 18 tareas sobre tres plataformas de brazo real conviven con las 42 simuladas, bajo la misma interfaz de políticas. Si la puntuación simulada de una política predice la real es la pregunta que el campo más necesita responder y menos suele medir, y un banco construido para plantearla de frente merece la pena.

En lo práctico, el repositorio separa el armazón del simulador y sus gestores, la configuración de entorno para simulador, escena, robot y cámara, la lógica de tareas con sus YAML, y XPolicyLab como servidor de políticas y capa de integración. Los recursos —robots, objetos, materiales y disposiciones— se descargan en vez de venir incrustados. El sitio de documentación se trata como la referencia canónica y cubre instalación, evaluación rápida, integración de una política nueva en XPolicyLab, las listas de tareas simuladas y reales, configuración y resolución de problemas, que es más atención al camino de arranque de la que logran la mayoría de bancos.

Por qué importa

Los bancos de manipulación simulados se han vuelto fáciles de saturar y difíciles de creer: un número en LIBERO dice poco sobre si una política funcionará en un banco de trabajo. RoboDojo pone ambas mitades bajo una interfaz para que la comparación se pueda hacer de verdad, y lo hace con más de 40 políticas ya integradas, que es la diferencia entre un banco que puedes usar esta semana y uno al que primero tendrías que portar tu trabajo.

Qué problema resuelve

Los resultados de manipulación se informan en simulación y se despliegan en hardware, y nadie puede decir cuánto predice lo primero a lo segundo porque se miden con utillaje distinto. RoboDojo los pone tras una interfaz de políticas para que lo mismo se pueda ejecutar en ambos sitios.

Puntos clave

• 42 tareas de Isaac Sim en cinco dimensiones de capacidad, más 18 tareas del mundo real sobre brazos Piper X, Piper y ARX X5
• XPolicyLab unifica más de 40 políticas tras una interfaz, así que la misma definición corre en simulación y en hardware real
• Disposiciones controladas por semilla y un único paso summarize agregan las ejecuciones en una tabla de clasificación
• Simulación y realidad están diseñadas como dos mitades de un banco y no como un simulador con una demo real pegada
• Los recursos se descargan en vez de incrustarse, lo que mantiene ligero el propio repositorio
• El sitio de documentación es la referencia canónica y cubre integrar políticas nuevas, no solo ejecutar las existentes

Para quién es

• Grupos que informan resultados de manipulación generalista y quieren un número real junto al simulado
• Quien compare políticas VLA y esté cansado de que cada artículo traiga su propio arnés
• Propietarios de brazos Piper, Piper X o ARX X5 con una política que evaluar
• Investigadores que integran una política nueva y la quieren ejecutable en muchas tareas a la vez

Limitaciones

• La mitad real necesita hardware concreto —Piper X, Piper o ARX X5—, así que la mayoría de lectores solo puede correr las 42 simuladas
• Isaac Sim es una dependencia pesada con sus propios requisitos de GPU, y la documentación tiene una página de resolución de problemas de memoria de GPU por algo
• Los recursos hay que descargarlos aparte, así que el banco no es autocontenido
• El artículo detrás (arXiv 2607.04434) es un preprint sin sede de publicación, así que el diseño del banco no ha pasado por revisión
• Una tabla de clasificación vale lo que su participación, y a esta edad eso está sin probar
• Que XPolicyLab integre más de 40 políticas es una carga de mantenimiento que se notará si el proyecto se ralentiza