SenseNova-RoboRSI

Runtime aperto che esegue, valuta e migliora agenti robotici guidati da modelli linguistici

Licenza

• code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
• run logs dataset: MIT

Licenza suddivisa. Il codice di RoboRSI e i pesi di SenseNova-RoboRSI-27B-Preview sono Apache-2.0, e il dataset dei log delle esecuzioni è MIT. Il dataset dei pacchetti di esperienza dichiara licenze specifiche per componente: il materiale DexJoCo derivato dagli asset robotici di GeoRT è CC BY-NC (non commerciale), i pacchetti BEHAVIOR-1K provengono da una fonte senza licenza nel repository, e il permesso di ridistribuzione di Bench2Dex risulta in sospeso. I benchmark, i simulatori e i modelli a cui si collega mantengono le proprie licenze, e l'uso di GPT-6 Astra richiede un account a pagamento per l'API di OpenAI. Verificato il 2026-10-27.

Panoramica

SenseNova-RoboRSI è un runtime open source di SenseNova per costruire, valutare e migliorare agenti incarnati: un modello linguistico che vede le immagini della telecamera e controlla un robot tramite strumenti. Il repository collega un modello, i suoi prompt, le sue skill e i suoi strumenti a un robot, lo esegue all'interno dell'ambiente proprio di un benchmark con il punteggio proprio di quel benchmark, e registra ogni passo. Su questo runtime, il 'recursive self-improvement' (RSI) usa le esecuzioni registrate e il feedback sui compiti per migliorare l'harness dell'agente, cioè la sua gestione di pianificazione, feedback e memoria, mentre i pesi del modello restano fissi, e conserva solo le modifiche che danno risultati migliori quando vengono ritestate. Include adattatori per LIBERO e le sue varianti LIBERO-PRO, LIBERO-Long++ e LIBERO-Ultra-Long, RoboCasa365, BEHAVIOR-1K, Bench2Dex e DexJoCo, con RoboDojo e altri annunciati. Il team ha anche rilasciato SenseNova-RoboRSI-27B-Preview, un modello vision-language a pesi aperti da 27 miliardi di parametri addestrato su esecuzioni validate dello stesso harness. Il codice e i pesi del modello sono Apache-2.0. Il progetto è contrassegnato come pre-alpha, e SenseNova lo ha usato nel suo studio su GPT-6 Astra come controller di robot.

Un agente in RoboRSI è un modello dietro un'API compatibile con OpenAI che accetta immagini e chiamate a strumenti, più una configurazione di prompt, contesto, caching e budget. Il runtime gli passa le osservazioni dal benchmark ed esegue ciò che sceglie: azioni scriptate, strumenti per l'end effector o una chiamata a una policy di un modello Vision-Language-Action (VLA) che esegue una breve skill. Per LIBERO, un agente può scaricare e mettere in funzione automaticamente la policy π0.5 di openpi e usarla come esecutore di basso livello, così il modello linguistico pianifica e verifica mentre il VLA muove il braccio. Ogni benchmark mantiene la propria esecuzione e il proprio punteggio nativi, e le esecuzioni vengono registrate come tracce complete che si possono esportare come episodi di addestramento.

La valutazione è un solo comando. scripts/evaluation/evaluate_model.py accetta uno o più benchmark, scarica o costruisce l'ambiente, prepara il materiale di in-context learning (ICL) ed esegue compiti e seed con avanzamento in tempo reale, ID di esecuzione riprendibili e un summary.json per ogni esecuzione. Immagini Docker precostruite per la maggior parte dei benchmark sono su GHCR, e i servizi di benchmark esistenti si possono raggiungere via HTTP anziché installarli in locale. I pacchetti di esperienza ICL, cioè le note e i riferimenti che un agente studia prima di un episodio di test, sono pubblicati per ciascun benchmark nel dataset SenseNova-RoboRSI-Packages, e i log delle esecuzioni pubblicate in SenseNova-RoboRSI-Log.

Il ciclo RSI tratta l'harness come l'oggetto da addestrare. Le tracce di esecuzione e il feedback sui compiti suggeriscono modifiche alla previsione delle azioni, alla pianificazione, al feedback e all'organizzazione della memoria; ogni candidato viene ritestato nelle stesse condizioni del compito, e le versioni dell'agente vengono tracciate così che i miglioramenti validati vengano mantenuti. RoboRSI-27B-Preview estende il ciclo al modello: l'esperienza di interazione validata diventa dati di addestramento per la comprensione degli obiettivi, le decisioni sulle azioni e la correzione a partire dal feedback, e il modello aggiornato torna nello stesso runtime per essere ritestato.

Il team riporta, con GPT-6 Astra alla guida dell'harness, un punteggio medio di 60,08 e un tasso di successo del 54,17% su RoboDojo-Sim, contro 28,97 e 22,48% per il solo GPT-6 Astra, e il 94,50% sulle suite Task e Swap di LIBERO-PRO. Il modello da 27B, basato su Qwen3.8-27B, raggiunge il 92,5% su LIBERO-PRO con esecuzione assistita dal VLA e il 95,0% con controllo diretto, e porta il successo su RoboCasa365 rispetto al suo modello di base dal 26,0% al 46,5%, riducendo i token di output medi da 59,5K a 15,9K. Una dimostrazione su robot reale lo mostra mentre mette un blocco in una scatola in 13 minuti, dove il modello di base non era riuscito dopo 120 minuti.

Perché è importante

I modelli linguistici di frontiera ora sanno guidare i robot abbastanza bene da far sì che l'harness attorno a loro, cioè ciò che il modello vede, quali azioni gli vengono offerte e come gli vengono restituiti i suoi errori, determini gran parte del risultato. RoboRSI rende quell'harness un oggetto aperto e condiviso: un unico runtime che collega un modello a diversi benchmark di manipolazione affermati con il loro punteggio, registra tutto e migliora l'harness a partire dalle proprie esecuzioni. Viene fornito con i pacchetti di esperienza, i log delle esecuzioni e un modello aperto da 27B, così un laboratorio può riprodurre i numeri pubblicati, confrontare il proprio modello nelle stesse condizioni o partire da un agente a pesi aperti anziché da un'API a pagamento.

Il problema che risolve

Valutare un agente basato su un modello linguistico su benchmark robotici di solito significa scrivere un'integrazione separata per ogni simulatore, ciascuno con il proprio formato di osservazione, la propria interfaccia delle azioni e il proprio punteggio, e i confronti che ne risultano sono difficili da riprodurre. Migliorare l'agente diventa poi un lavoro manuale sui prompt. RoboRSI offre un unico runtime e un unico formato di configurazione per benchmark che mantengono il loro punteggio nativo, registra tracce complete e trasforma quelle tracce in miglioramenti testati dell'harness e, con il modello da 27B, in dati di addestramento.

Punti chiave

• Un unico runtime collega un modello, prompt, skill e strumenti a LIBERO e alle sue varianti, RoboCasa365, BEHAVIOR-1K, Bench2Dex e DexJoCo, ciascuno valutato secondo le proprie regole
• Il recursive self-improvement aggiorna l'harness a partire dalle esecuzioni registrate mentre i pesi del modello restano fissi, conservando solo le modifiche che ottengono punteggi migliori quando vengono ritestate
• Un modello linguistico può pianificare e verificare mentre un modello Vision-Language-Action (VLA) come π0.5 esegue brevi skill; gli agenti LIBERO possono mettere in funzione π0.5 automaticamente
• Con GPT-6 Astra il team riporta un punteggio medio di 60,08 e un successo del 54,17% su RoboDojo-Sim, contro 28,97 e 22,48% per il solo modello
• SenseNova-RoboRSI-27B-Preview è un modello vision-language a pesi aperti da 27B basato su Qwen3.8-27B, rilasciato con licenza Apache-2.0
• Pacchetti di esperienza, log delle esecuzioni e immagini Docker precostruite sono pubblicati insieme al codice

A chi si rivolge

• Ricercatori che valutano agenti basati su modelli linguistici o VLM su benchmark di manipolazione robotica
• Team che confrontano progetti di harness: interfacce delle azioni, esecuzione assistita da VLA, contesto e memoria
• Laboratori che vogliono un modello incarnato a pesi aperti da mettere in funzione e su cui fare fine-tuning, anziché un'API a pagamento
• Manutentori di benchmark che cercano un'interfaccia comune per gli agenti tra simulatori diversi

Limiti

• Contrassegnato come pre-alpha: il repository ha poche settimane, il rapporto tecnico deve ancora uscire, e l'integrazione di RoboDojo e diversi altri benchmark sono indicati come in arrivo
• I risultati principali sono del team stesso; i numeri su RoboDojo sono in fase di invio alla classifica ufficiale e potrebbero cambiare, e il confronto su RoboCasa365 usa un'impostazione di valutazione diversa da quella delle voci ufficiali
• I risultati migliori usano GPT-6 Astra, un modello di frontiera a pagamento; il modello aperto da 27B ottiene punteggi molto più bassi su RoboDojo (punteggio medio 26,13, successo del 20,83%)
• Le immagini native dei benchmark sono per Linux, LIBERO potenziato e RoboCasa365 richiedono una GPU NVIDIA in Docker, e servire il modello da 27B richiede un server GPU con vLLM
• L'uso su robot reale è mostrato solo in una dimostrazione; gli adattatori rilasciati sono per benchmark in simulazione
• I pacchetti di esperienza hanno condizioni specifiche per componente, alcune non commerciali, e simulatori, dataset e modelli esterni mantengono le proprie licenze