SenseNova-RoboRSI

Entorno de ejecución abierto que ejecuta, puntúa y mejora agentes robóticos impulsados por modelos de lenguaje

Licencia

• code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
• run logs dataset: MIT

Licencias divididas. El código de RoboRSI y los pesos de SenseNova-RoboRSI-27B-Preview son Apache-2.0, y el conjunto de datos de registros de ejecución (run logs) es MIT. El conjunto de datos de paquetes de experiencia (experience packages) declara licencias específicas por componente: el material de DexJoCo derivado de los assets de robots de GeoRT es CC BY-NC (no comercial), los paquetes de BEHAVIOR-1K proceden de una fuente sin licencia de repositorio, y el permiso de redistribución de Bench2Dex consta como pendiente. Los benchmarks, simuladores y modelos a los que se conecta conservan sus propias licencias, y usar GPT-6 Astra requiere una cuenta de pago de la API de OpenAI. Comprobado el 2026-10-27.

Resumen

SenseNova-RoboRSI es un entorno de ejecución de código abierto de SenseNova para construir, evaluar y mejorar agentes corporizados: un modelo de lenguaje que ve imágenes de cámara y controla un robot mediante herramientas. El repositorio conecta un modelo, sus prompts, habilidades y herramientas con un robot, lo ejecuta dentro del propio entorno de un benchmark con la puntuación de ese benchmark y registra cada paso. Sobre ese entorno, la 'automejora recursiva' (RSI) usa las ejecuciones registradas y la retroalimentación de las tareas para mejorar el harness del agente, es decir, su planificación, su retroalimentación y su gestión de la memoria, mientras los pesos del modelo permanecen fijos, y conserva solo los cambios que rinden mejor al volver a probarse. Incluye adaptadores para LIBERO y sus variantes LIBERO-PRO, LIBERO-Long++ y LIBERO-Ultra-Long, RoboCasa365, BEHAVIOR-1K, Bench2Dex y DexJoCo, y se han anunciado RoboDojo y otros. El equipo también publicó SenseNova-RoboRSI-27B-Preview, un modelo de visión y lenguaje de pesos abiertos con 27 000 millones de parámetros, entrenado con ejecuciones validadas del mismo harness. El código y los pesos del modelo son Apache-2.0. El proyecto está marcado como pre-alfa, y SenseNova lo utilizó en su estudio sobre GPT-6 Astra como controlador de robots.

En RoboRSI, un agente es un modelo detrás de una API compatible con OpenAI que acepta imágenes y llamadas a herramientas, más una configuración de prompts, contexto, caché y presupuestos. El entorno de ejecución le entrega observaciones del benchmark y ejecuta lo que elige: acciones programadas, herramientas del efector final o una llamada a una política de visión-lenguaje-acción (VLA) que lleva a cabo una habilidad corta. Para LIBERO, un agente puede descargar y desplegar automáticamente la política π0.5 de openpi y usarla como ejecutor de bajo nivel, de modo que el modelo de lenguaje planifica y revisa mientras el VLA mueve el brazo. Cada benchmark conserva su ejecución y su puntuación nativas, y las ejecuciones se registran como trazas completas que pueden exportarse como episodios de entrenamiento.

La evaluación es un solo comando. scripts/evaluation/evaluate_model.py recibe uno o más benchmarks, descarga o construye el entorno, prepara el material de aprendizaje en contexto (ICL) y ejecuta tareas y semillas con progreso en directo, ID de ejecución reanudables y un summary.json por ejecución. En GHCR hay imágenes de Docker precompiladas para la mayoría de los benchmarks, y se puede acceder a servicios de benchmark existentes por HTTP en lugar de instalarlos localmente. Los paquetes de experiencia ICL, las notas y referencias que un agente estudia antes de un episodio de prueba, se publican por benchmark en el conjunto de datos SenseNova-RoboRSI-Packages, y los registros de las ejecuciones publicadas en SenseNova-RoboRSI-Log.

El bucle RSI trata el harness como aquello que se entrena. Las trazas de ejecución y la retroalimentación de las tareas sugieren cambios en la predicción de acciones, la planificación, la retroalimentación y la organización de la memoria; cada candidato se vuelve a probar en las mismas condiciones de tarea, y se hace un seguimiento de las versiones del agente para que las mejoras validadas se mantengan. RoboRSI-27B-Preview extiende el bucle al modelo: la experiencia de interacción validada se convierte en datos de entrenamiento para la comprensión de objetivos, las decisiones de acción y la corrección a partir de la retroalimentación, y el modelo actualizado vuelve al mismo entorno de ejecución para probarse de nuevo.

El equipo informa, con GPT-6 Astra manejando el harness, de una puntuación media de 60,08 y una tasa de éxito del 54,17 % en RoboDojo-Sim, frente a 28,97 y 22,48 % de GPT-6 Astra por sí solo, y del 94,50 % en las suites Task y Swap de LIBERO-PRO. El modelo de 27 mil millones, construido sobre Qwen3.8-27 mil millones, alcanza el 92,5 % en LIBERO-PRO con ejecución asistida por VLA y el 95,0 % con control directo, y eleva el éxito en RoboCasa365 respecto a su modelo base del 26,0 % al 46,5 %, a la vez que reduce la media de tokens de salida de 59,5K a 15,9K. Una demostración con un robot real lo muestra colocando un bloque dentro de una caja en 13 minutos, cuando el modelo base no lo había conseguido tras 120 minutos.

Por qué importa

Los modelos de lenguaje de frontera ya controlan robots lo bastante bien como para que el harness que los rodea —lo que ve el modelo, qué acciones se le ofrecen y cómo se le devuelven sus errores— decida buena parte del resultado. RoboRSI convierte ese harness en un objeto abierto y compartido: un entorno de ejecución que conecta un modelo a varios benchmarks de manipulación consolidados con su propia puntuación, lo registra todo y mejora el harness a partir de sus propias ejecuciones. Incluye los paquetes de experiencia, los registros de ejecución y un modelo 27B abierto, de modo que un laboratorio puede reproducir las cifras publicadas, comparar su propio modelo en las mismas condiciones o partir de un agente de pesos abiertos en lugar de una API de pago.

Qué problema resuelve

Evaluar un agente basado en un modelo de lenguaje en benchmarks robóticos suele implicar escribir una integración distinta para cada simulador, cada uno con su formato de observación, su interfaz de acciones y su puntuación, y las comparaciones resultantes son difíciles de reproducir. Mejorar el agente se convierte después en trabajo manual con los prompts. RoboRSI ofrece un único entorno de ejecución y un formato de configuración para benchmarks que conservan su puntuación nativa, registra trazas completas y las convierte en mejoras probadas del harness y, con el modelo 27B, en datos de entrenamiento.

Puntos clave

• Un único entorno de ejecución conecta un modelo, sus prompts, habilidades y herramientas con LIBERO y sus variantes, RoboCasa365, BEHAVIOR-1K, Bench2Dex y DexJoCo, cada uno puntuado con sus propias reglas
• La automejora recursiva actualiza el harness a partir de ejecuciones registradas mientras los pesos del modelo permanecen fijos, y solo conserva los cambios que puntúan mejor al volver a probarse
• Un modelo de lenguaje puede planificar y revisar mientras una VLA como π0.5 ejecuta habilidades cortas; los agentes de LIBERO pueden desplegar π0.5 automáticamente
• Con GPT-6 Astra, el equipo informa una puntuación media de 60,08 y un 54,17 % de éxito en RoboDojo-Sim, frente a 28,97 y 22,48 % del modelo solo
• SenseNova-RoboRSI-27B-Preview es un modelo de visión y lenguaje de pesos abiertos y 27B parámetros basado en Qwen3.8-27B, publicado bajo Apache-2.0
• Los paquetes de experiencia, los registros de ejecución y las imágenes Docker precompiladas se publican junto con el código

Para quién es

• Investigadores que evalúan agentes basados en modelos de lenguaje o VLM en benchmarks de manipulación robótica
• Equipos que comparan diseños de harness: interfaces de acción, ejecución asistida por VLA, contexto y memoria
• Laboratorios que quieren desplegar y ajustar un modelo corporizado de pesos abiertos en lugar de usar una API de pago
• Responsables de benchmarks que buscan una interfaz de agente común entre simuladores

Limitaciones

• Marcado como pre-alfa: el repositorio tiene pocas semanas, el informe técnico aún no se ha publicado, y la integración con RoboDojo y varios otros benchmarks figuran como próximamente
• Los resultados principales son del propio equipo; las cifras de RoboDojo se están enviando a la clasificación oficial y pueden cambiar, y la comparación en RoboCasa365 usa una configuración de evaluación distinta de la de las entradas oficiales
• Los mejores resultados usan GPT-6 Astra, un modelo de frontera de pago; el modelo 27B abierto puntúa mucho menos en RoboDojo (puntuación media de 26,13 y 20,83 % de éxito)
• Las imágenes nativas de los benchmarks están pensadas para Linux, LIBERO mejorado y RoboCasa365 necesitan una GPU NVIDIA en Docker, y servir el modelo 27B requiere un servidor con GPU y vLLM
• El uso con robots reales solo se muestra en una demostración; los adaptadores publicados son para benchmarks de simulación
• Los paquetes de experiencia tienen condiciones distintas por componente, algunas no comerciales, y los simuladores, conjuntos de datos y modelos externos conservan sus propias licencias