SenseNova-RoboRSI

Environnement d'exécution ouvert qui exécute, évalue et améliore des agents robotiques pilotés par des modèles de langage

Licence

• code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
• run logs dataset: MIT

Licences distinctes. Le code de RoboRSI et les poids de SenseNova-RoboRSI-27B-Preview sont sous Apache-2.0, et le jeu de données des journaux d'exécution (run logs) est sous MIT. Le jeu de données des paquets d'expérience (experience packages) déclare des licences propres à chaque composant : le matériel DexJoCo dérivé des ressources de robots GeoRT est sous CC BY-NC (non commercial), les paquets BEHAVIOR-1K proviennent d'une source sans licence de dépôt, et l'autorisation de redistribution de Bench2Dex est indiquée comme en attente. Les benchmarks, simulateurs et modèles auxquels il se connecte conservent leurs propres licences, et l'utilisation de GPT-6 Astra nécessite un compte payant à l'API OpenAI. Vérifié le 2026-10-27.

Aperçu

SenseNova-RoboRSI est un environnement d'exécution open source de SenseNova pour construire, évaluer et améliorer des agents incarnés : un modèle de langage qui voit les images des caméras et commande un robot au moyen d'outils. Le dépôt relie un modèle, ses prompts, ses compétences et ses outils à un robot, l'exécute dans l'environnement propre d'un benchmark avec la notation de ce benchmark, et enregistre chaque étape. Au-dessus de cet environnement, l'« auto-amélioration récursive » (RSI) exploite les exécutions enregistrées et les retours des tâches pour améliorer le harness de l'agent, c'est-à-dire sa planification, ses retours et sa gestion de la mémoire, tandis que les poids du modèle restent fixes, et ne conserve que les modifications qui font mieux une fois testées à nouveau. Il fournit des adaptateurs pour LIBERO et ses variantes LIBERO-PRO, LIBERO-Long++ et LIBERO-Ultra-Long, RoboCasa365, BEHAVIOR-1K, Bench2Dex et DexJoCo, et RoboDojo ainsi que d'autres sont annoncés. L'équipe a aussi publié SenseNova-RoboRSI-27B-Preview, un modèle vision-langage à poids ouverts de 27 milliards de paramètres, entraîné sur des exécutions validées issues du même harness. Le code et les poids du modèle sont sous Apache-2.0. Le projet est marqué pré-alpha, et SenseNova l'a utilisé dans son étude de GPT-6 Astra comme contrôleur de robot.

Dans RoboRSI, un agent est un modèle derrière une API compatible OpenAI qui accepte des images et des appels d'outils, accompagné d'une configuration de prompts, de contexte, de mise en cache et de budgets. Le runtime lui transmet les observations du benchmark et exécute ce qu'il choisit : actions scriptées, outils d'effecteur terminal, ou appel à une politique vision-langage-action (VLA) qui exécute une courte compétence. Pour LIBERO, un agent peut télécharger et déployer automatiquement la politique π0.5 d'openpi et l'utiliser comme exécutant de bas niveau, de sorte que le modèle de langage planifie et vérifie pendant que le VLA déplace le bras. Chaque benchmark conserve son exécution et sa notation natives, et les exécutions sont enregistrées sous forme de traces complètes pouvant être exportées comme épisodes d'entraînement.

L'évaluation tient en une commande. scripts/evaluation/evaluate_model.py prend un ou plusieurs benchmarks, télécharge ou construit l'environnement, prépare le matériel d'apprentissage en contexte (ICL) et exécute les tâches et les graines avec une progression en direct, des identifiants d'exécution permettant la reprise et un summary.json par exécution. Des images Docker préconstruites pour la plupart des benchmarks sont disponibles sur GHCR, et les services de benchmark existants peuvent être joints en HTTP au lieu d'être installés localement. Les paquets d'expérience ICL, c'est-à-dire les notes et références qu'un agent étudie avant un épisode de test, sont publiés par benchmark dans le jeu de données SenseNova-RoboRSI-Packages, et les journaux des exécutions publiées dans SenseNova-RoboRSI-Log.

La boucle RSI considère le harnais comme l'objet de l'entraînement. Les traces d'exécution et les retours sur les tâches suggèrent des modifications de la prédiction d'actions, de la planification, du retour d'information et de l'organisation de la mémoire ; chaque candidat est retesté dans les mêmes conditions de tâche, et les versions des agents sont suivies afin que les améliorations validées soient conservées. RoboRSI-27B-Preview étend la boucle au modèle : l'expérience d'interaction validée devient des données d'entraînement pour la compréhension des objectifs, les décisions d'action et la correction à partir des retours, et le modèle mis à jour retourne dans le même runtime pour être retesté.

L'équipe rapporte, avec GPT-6 Astra pilotant le harnais, un score moyen de 60,08 et un taux de réussite de 54,17 % sur RoboDojo-Sim, contre 28,97 et 22,48 % pour GPT-6 Astra seul, et 94,50 % sur les suites Task et Swap de LIBERO-PRO. Le modèle 27 milliards, construit sur Qwen3.8-27 milliards, atteint 92,5 % sur LIBERO-PRO avec une exécution assistée par VLA et 95,0 % en commande directe, et fait passer le taux de réussite sur RoboCasa365 de 26,0 % à 46,5 % par rapport à son modèle de base, tout en réduisant le nombre moyen de jetons de sortie de 59,5K à 15,9K. Une démonstration sur robot réel le montre en train de placer un bloc dans une boîte en 13 minutes, là où le modèle de base n'avait pas réussi au bout de 120 minutes.

Pourquoi c'est important

Les modèles de langage de pointe pilotent désormais des robots suffisamment bien pour que le harness qui les entoure – ce que le modèle voit, les actions qui lui sont proposées et la façon dont ses erreurs lui sont renvoyées – détermine une grande part du résultat. RoboRSI fait de ce harness un objet ouvert et partagé : un environnement d'exécution qui branche un modèle sur plusieurs benchmarks de manipulation établis avec leur propre notation, enregistre tout et améliore le harness à partir de ses propres exécutions. Il est livré avec les paquets d'expérience, les journaux d'exécution et un modèle 27B ouvert, si bien qu'un laboratoire peut reproduire les chiffres publiés, comparer son propre modèle dans les mêmes conditions ou partir d'un agent à poids ouverts plutôt que d'une API payante.

Le problème résolu

Évaluer un agent fondé sur un modèle de langage sur des benchmarks robotiques implique généralement d'écrire une intégration distincte pour chaque simulateur, chacun avec son format d'observation, son interface d'action et sa notation, et les comparaisons qui en résultent sont difficiles à reproduire. Améliorer l'agent devient ensuite un travail manuel sur les prompts. RoboRSI fournit un seul environnement d'exécution et un seul format de configuration pour des benchmarks qui gardent leur notation native, enregistre des traces complètes et les transforme en améliorations testées du harness et, avec le modèle 27B, en données d'entraînement.

Points clés

• Un seul environnement d'exécution relie un modèle, ses prompts, compétences et outils à LIBERO et ses variantes, RoboCasa365, BEHAVIOR-1K, Bench2Dex et DexJoCo, chacun noté selon ses propres règles
• L'auto-amélioration récursive met à jour le harness à partir des exécutions enregistrées tandis que les poids du modèle restent fixes, et ne garde que les modifications qui obtiennent un meilleur score une fois testées à nouveau
• Un modèle de langage peut planifier et vérifier pendant qu'une VLA comme π0.5 exécute de courtes compétences ; les agents LIBERO peuvent déployer π0.5 automatiquement
• Avec GPT-6 Astra, l'équipe rapporte un score moyen de 60,08 et 54,17 % de réussite sur RoboDojo-Sim, contre 28,97 et 22,48 % pour le modèle seul
• SenseNova-RoboRSI-27B-Preview est un modèle vision-langage à poids ouverts de 27B paramètres basé sur Qwen3.8-27B, publié sous Apache-2.0
• Les paquets d'expérience, les journaux d'exécution et des images Docker préconstruites sont publiés avec le code

Pour qui

• Chercheurs qui évaluent des agents à modèle de langage ou VLM sur des benchmarks de manipulation robotique
• Équipes qui comparent des conceptions de harness : interfaces d'action, exécution assistée par VLA, contexte et mémoire
• Laboratoires qui veulent déployer et affiner un modèle incarné à poids ouverts plutôt qu'utiliser une API payante
• Responsables de benchmarks à la recherche d'une interface d'agent commune entre simulateurs

Limites

• Marqué pré-alpha : le dépôt n'a que quelques semaines, le rapport technique reste à paraître, et l'intégration RoboDojo comme plusieurs autres benchmarks sont annoncées comme à venir
• Les résultats principaux sont ceux de l'équipe ; les chiffres RoboDojo sont en cours de soumission au classement officiel et peuvent changer, et la comparaison sur RoboCasa365 utilise un protocole d'évaluation différent de celui des entrées officielles
• Les meilleurs résultats utilisent GPT-6 Astra, un modèle de pointe payant ; le modèle 27B ouvert obtient beaucoup moins sur RoboDojo (score moyen de 26,13, réussite de 20,83 %)
• Les images natives des benchmarks visent Linux, LIBERO amélioré et RoboCasa365 demandent un GPU NVIDIA dans Docker, et servir le modèle 27B nécessite un serveur GPU avec vLLM
• L'usage sur robot réel n'est montré que dans une démonstration ; les adaptateurs publiés concernent des benchmarks en simulation
• Les paquets d'expérience ont des conditions propres à chaque composant, dont certaines non commerciales, et les simulateurs, jeux de données et modèles externes conservent leurs propres licences