SenseNova-RoboRSI

Ambiente de execução aberto que executa, pontua e melhora agentes robóticos guiados por modelos de linguagem

Licença

• code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
• run logs dataset: MIT

Licenciamento dividido. O código do RoboRSI e os pesos do SenseNova-RoboRSI-27B-Preview são Apache-2.0, e o conjunto de dados de logs de execução (run logs) é MIT. O conjunto de dados de pacotes de experiência (experience packages) declara licenças específicas por componente: o material do DexJoCo derivado dos assets de robôs do GeoRT é CC BY-NC (não comercial), os pacotes do BEHAVIOR-1K vêm de uma fonte sem licença de repositório, e a permissão de redistribuição do Bench2Dex consta como pendente. Os benchmarks, simuladores e modelos aos quais ele se conecta mantêm suas próprias licenças, e usar o GPT-6 Astra requer uma conta paga da API da OpenAI. Verificado em 2026-10-27.

Visão geral

SenseNova-RoboRSI é um ambiente de execução de código aberto da SenseNova para construir, avaliar e melhorar agentes incorporados: um modelo de linguagem que vê imagens de câmera e controla um robô por meio de ferramentas. O repositório conecta um modelo, seus prompts, habilidades e ferramentas a um robô, executa tudo dentro do próprio ambiente de um benchmark com a pontuação desse benchmark e registra cada passo. Sobre esse ambiente, a 'automelhoria recursiva' (RSI) usa as execuções registradas e o feedback das tarefas para melhorar o harness do agente, isto é, seu planejamento, seu feedback e seu tratamento da memória, enquanto os pesos do modelo permanecem fixos, e mantém apenas as mudanças que se saem melhor quando testadas de novo. Ele traz adaptadores para o LIBERO e suas variantes LIBERO-PRO, LIBERO-Long++ e LIBERO-Ultra-Long, o RoboCasa365, o BEHAVIOR-1K, o Bench2Dex e o DexJoCo, e o RoboDojo e outros foram anunciados. A equipe também lançou o SenseNova-RoboRSI-27B-Preview, um modelo de visão e linguagem de pesos abertos com 27 bilhões de parâmetros, treinado com execuções validadas do mesmo harness. O código e os pesos do modelo são Apache-2.0. O projeto está marcado como pré-alfa, e a SenseNova o usou em seu estudo do GPT-6 Astra como controlador de robôs.

Um agente no RoboRSI é um modelo por trás de uma API compatível com a OpenAI que aceita imagens e chamadas de ferramentas, mais uma configuração de prompts, contexto, cache e orçamentos. O runtime entrega a ele observações do benchmark e executa o que ele escolhe: ações roteirizadas, ferramentas do efetuador final ou uma chamada a uma política de visão-linguagem-ação (VLA) que executa uma habilidade curta. No LIBERO, um agente pode baixar e implantar automaticamente a política π0.5 do openpi e usá-la como executor de baixo nível, de modo que o modelo de linguagem planeja e revisa enquanto a VLA move o braço. Cada benchmark mantém sua execução e pontuação nativas, e as execuções são registradas como traces completos que podem ser exportados como episódios de treinamento.

A avaliação é um único comando. O scripts/evaluation/evaluate_model.py recebe um ou mais benchmarks, baixa ou constrói o ambiente, prepara o material de aprendizado em contexto (ICL) e executa tarefas e seeds com progresso ao vivo, IDs de execução retomáveis e um summary.json por execução. Imagens Docker pré-construídas para a maioria dos benchmarks estão no GHCR, e serviços de benchmark existentes podem ser acessados por HTTP em vez de instalados localmente. Os pacotes de experiência de ICL, as notas e referências que um agente estuda antes de um episódio de teste, são publicados por benchmark no dataset SenseNova-RoboRSI-Packages, e os logs por trás das execuções publicadas em SenseNova-RoboRSI-Log.

O loop de RSI trata o harness como aquilo que está sendo treinado. Os traces de execução e o feedback das tarefas sugerem mudanças na previsão de ações, no planejamento, no feedback e na organização da memória; cada candidato é testado novamente nas mesmas condições de tarefa, e as versões do agente são rastreadas para que as melhorias validadas sejam levadas adiante. O RoboRSI-27B-Preview estende o loop ao modelo: a experiência de interação validada vira dados de treinamento para compreensão de objetivos, decisões de ação e correção a partir de feedback, e o modelo atualizado volta ao mesmo runtime para ser testado novamente.

A equipe relata, com o GPT-6 Astra conduzindo o harness, uma pontuação média de 60,08 e uma taxa de sucesso de 54,17% no RoboDojo-Sim, contra 28,97 e 22,48% do GPT-6 Astra sozinho, e 94,50% nas suítes Task e Swap do LIBERO-PRO. O modelo de 27B, construído sobre o Qwen3.8-27B, chega a 92,5% no LIBERO-PRO com execução assistida por VLA e a 95,0% com controle direto, e eleva o sucesso no RoboCasa365 em relação ao modelo base de 26,0% para 46,5%, enquanto reduz a média de tokens de saída de 59,5K para 15,9K. Uma demonstração em robô real o mostra colocando um bloco em uma caixa em 13 minutos, enquanto o modelo base não havia conseguido após 120 minutos.

Por que importa

Os modelos de linguagem de fronteira já controlam robôs bem o bastante para que o harness ao redor deles — o que o modelo vê, quais ações lhe são oferecidas e como seus erros lhe são devolvidos — decida boa parte do resultado. O RoboRSI transforma esse harness em um objeto aberto e compartilhado: um ambiente de execução que liga um modelo a vários benchmarks de manipulação consolidados com a pontuação de cada um, registra tudo e melhora o harness a partir das próprias execuções. Ele vem com os pacotes de experiência, os logs de execução e um modelo 27B aberto, de modo que um laboratório pode reproduzir os números publicados, comparar seu próprio modelo nas mesmas condições ou começar de um agente de pesos abertos em vez de uma API paga.

Problema que resolve

Avaliar um agente baseado em modelo de linguagem em benchmarks robóticos costuma exigir uma integração separada para cada simulador, cada um com seu formato de observação, sua interface de ações e sua pontuação, e as comparações resultantes são difíceis de reproduzir. Melhorar o agente vira, depois, trabalho manual nos prompts. O RoboRSI oferece um único ambiente de execução e um único formato de configuração para benchmarks que mantêm sua pontuação nativa, registra rastros completos e os transforma em melhorias testadas do harness e, com o modelo 27B, em dados de treinamento.

Pontos principais

• Um único ambiente de execução conecta um modelo, seus prompts, habilidades e ferramentas ao LIBERO e suas variantes, RoboCasa365, BEHAVIOR-1K, Bench2Dex e DexJoCo, cada um pontuado pelas próprias regras
• A automelhoria recursiva atualiza o harness a partir de execuções registradas enquanto os pesos do modelo permanecem fixos, e mantém apenas as mudanças que pontuam melhor quando testadas de novo
• Um modelo de linguagem pode planejar e revisar enquanto uma VLA como a π0.5 executa habilidades curtas; agentes do LIBERO podem implantar a π0.5 automaticamente
• Com o GPT-6 Astra, a equipe relata pontuação média de 60,08 e 54,17% de sucesso no RoboDojo-Sim, contra 28,97 e 22,48% do modelo sozinho
• O SenseNova-RoboRSI-27B-Preview é um modelo de visão e linguagem de pesos abertos com 27B de parâmetros, baseado no Qwen3.8-27B e lançado sob Apache-2.0
• Pacotes de experiência, logs de execução e imagens Docker pré-construídas são publicados junto com o código

Para quem é

• Pesquisadores que avaliam agentes baseados em modelos de linguagem ou VLM em benchmarks de manipulação robótica
• Equipes que comparam projetos de harness: interfaces de ação, execução assistida por VLA, contexto e memória
• Laboratórios que querem implantar e ajustar um modelo incorporado de pesos abertos em vez de usar uma API paga
• Mantenedores de benchmarks que buscam uma interface de agente comum entre simuladores

Limitações

• Marcado como pré-alfa: o repositório tem poucas semanas, o relatório técnico ainda não saiu, e a integração com o RoboDojo e vários outros benchmarks aparecem como em breve
• Os resultados principais são da própria equipe; os números do RoboDojo estão sendo enviados ao placar oficial e podem mudar, e a comparação no RoboCasa365 usa uma configuração de avaliação diferente da das entradas oficiais
• Os melhores resultados usam o GPT-6 Astra, um modelo de fronteira pago; o modelo 27B aberto pontua bem menos no RoboDojo (pontuação média de 26,13 e 20,83% de sucesso)
• As imagens nativas dos benchmarks são para Linux, o LIBERO aprimorado e o RoboCasa365 precisam de uma GPU NVIDIA no Docker, e servir o modelo 27B exige um servidor com GPU e vLLM
• O uso em robôs reais aparece apenas em uma demonstração; os adaptadores publicados são para benchmarks de simulação
• Os pacotes de experiência têm condições diferentes por componente, algumas não comerciais, e simuladores, conjuntos de dados e modelos externos mantêm suas próprias licenças