SenseNova-RoboRSI

Offene Laufzeitumgebung, die von Sprachmodellen gesteuerte Roboter-Agenten ausführt, bewertet und verbessert

Lizenz

• code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
• run logs dataset: MIT

Geteilte Lizenzierung. Der Code von RoboRSI und die Gewichte von SenseNova-RoboRSI-27B-Preview stehen unter Apache-2.0, der Datensatz mit den Ausführungsprotokollen (Run Logs) unter MIT. Der Datensatz mit den Erfahrungspaketen (Experience Packages) gibt komponentenspezifische Lizenzen an: DexJoCo-Material, das von GeoRT-Roboter-Assets abgeleitet ist, steht unter CC BY-NC (nicht-kommerziell), die BEHAVIOR-1K-Pakete stammen aus einer Quelle ohne Repository-Lizenz, und die Erlaubnis zur Weiterverbreitung von Bench2Dex ist als ausstehend vermerkt. Die angebundenen Benchmarks, Simulatoren und Modelle behalten ihre eigenen Lizenzen, und die Nutzung von GPT-6 Astra erfordert ein kostenpflichtiges OpenAI-API-Konto. Geprüft am 2026-10-27.

Überblick

SenseNova-RoboRSI ist eine Open-Source-Laufzeitumgebung von SenseNova, mit der sich verkörperte Agenten bauen, bewerten und verbessern lassen: ein Sprachmodell, das Kamerabilder sieht und einen Roboter über Werkzeuge steuert. Das Repository verbindet ein Modell mit seinen Prompts, Skills und Werkzeugen mit einem Roboter, führt es in der eigenen Umgebung eines Benchmarks mit dessen eigener Bewertung aus und zeichnet jeden Schritt auf. Auf dieser Laufzeitumgebung setzt die „rekursive Selbstverbesserung“ (RSI) auf: Sie nutzt die aufgezeichneten Läufe und das Feedback aus den Aufgaben, um das Harness des Agenten zu verbessern, also Planung, Feedback und Gedächtnisverwaltung, während die Gewichte des Modells unverändert bleiben, und behält nur Änderungen, die sich im erneuten Test als besser erweisen. Mitgeliefert werden Adapter für LIBERO und seine Varianten LIBERO-PRO, LIBERO-Long++ und LIBERO-Ultra-Long, RoboCasa365, BEHAVIOR-1K, Bench2Dex und DexJoCo; RoboDojo und weitere sind angekündigt. Das Team hat außerdem SenseNova-RoboRSI-27B-Preview veröffentlicht, ein Vision-Sprachmodell mit offenen Gewichten und 27 Milliarden Parametern, trainiert mit validierten Läufen aus demselben Harness. Code und Modellgewichte stehen unter Apache-2.0. Das Projekt ist als Pre-Alpha gekennzeichnet, und SenseNova hat es in seiner Studie zu GPT-6 Astra als Steuerung für Roboter eingesetzt.

Ein Agent in RoboRSI ist ein Modell hinter einer OpenAI-kompatiblen API, das Bilder und Tool-Aufrufe akzeptiert, zusammen mit einer Konfiguration aus Prompts, Kontext, Caching und Budgets. Die Laufzeitumgebung übergibt ihm Beobachtungen aus dem Benchmark und führt aus, was er wählt: skriptgesteuerte Aktionen, Endeffektor-Werkzeuge oder den Aufruf einer Vision-Language-Action-Policy (VLA), die eine kurze Fähigkeit ausführt. Bei LIBERO kann ein Agent die Policy π0.5 aus openpi automatisch herunterladen, bereitstellen und als Low-Level-Ausführung nutzen, sodass das Sprachmodell plant und prüft, während die VLA den Arm bewegt. Jeder Benchmark behält seine native Ausführung und Bewertung, und Durchläufe werden als vollständige Traces aufgezeichnet, die sich als Trainingsepisoden exportieren lassen.

Die Evaluierung ist ein einziger Befehl. scripts/evaluation/evaluate_model.py nimmt einen oder mehrere Benchmarks, lädt die Umgebung herunter oder baut sie, bereitet das Material für In-Context-Learning (ICL) vor und führt Aufgaben und Seeds mit Live-Fortschritt, fortsetzbaren Run-IDs und einer summary.json pro Durchlauf aus. Vorgefertigte Docker-Images für die meisten Benchmarks liegen auf GHCR, und bestehende Benchmark-Dienste lassen sich über HTTP erreichen, statt lokal installiert zu werden. Die ICL-Erfahrungspakete – die Notizen und Referenzen, die ein Agent vor einer Testepisode studiert – sind pro Benchmark im Datensatz SenseNova-RoboRSI-Packages veröffentlicht und die Logs hinter den veröffentlichten Durchläufen in SenseNova-RoboRSI-Log.

Die RSI-Schleife behandelt das Harness als das, was trainiert wird. Ausführungs-Traces und Aufgaben-Feedback schlagen Änderungen an Aktionsvorhersage, Planung, Feedback und Gedächtnisorganisation vor; jeder Kandidat wird unter denselben Aufgabenbedingungen erneut getestet, und Agentenversionen werden verfolgt, sodass validierte Verbesserungen erhalten bleiben. RoboRSI-27B-Preview erweitert die Schleife auf das Modell: Validierte Interaktionserfahrung wird zu Trainingsdaten für Zielverständnis, Aktionsentscheidungen und Korrektur anhand von Feedback, und das aktualisierte Modell geht zum erneuten Testen in dieselbe Laufzeitumgebung zurück.

Das Team berichtet, mit GPT-6 Astra als Steuerung des Harness, eine durchschnittliche Punktzahl von 60,08 und eine Erfolgsquote von 54,17 % auf RoboDojo-Sim, gegenüber 28,97 und 22,48 % für GPT-6 Astra allein, sowie 94,50 % auf den Task- und Swap-Suites von LIBERO-PRO. Das 27B-Modell, aufgebaut auf Qwen3.8-27B, erreicht auf LIBERO-PRO 92,5 % mit VLA-gestützter Ausführung und 95,0 % mit direkter Steuerung und steigert die Erfolgsquote auf RoboCasa365 gegenüber seinem Basismodell von 26,0 % auf 46,5 %, während es die durchschnittlichen Ausgabe-Tokens von 59,5K auf 15,9K senkt. Eine Demonstration mit einem echten Roboter zeigt, wie es einen Klotz in 13 Minuten in eine Kiste legt, während das Basismodell nach 120 Minuten noch keinen Erfolg hatte.

Warum es wichtig ist

Frontier-Sprachmodelle steuern Roboter inzwischen so gut, dass das Harness um sie herum – was das Modell sieht, welche Aktionen ihm angeboten werden und wie seine Fehler zurückgemeldet werden – einen Großteil des Ergebnisses bestimmt. RoboRSI macht dieses Harness zu einem offenen, gemeinsamen Gegenstand: eine Laufzeitumgebung, die ein Modell an mehrere etablierte Manipulations-Benchmarks mit deren eigener Bewertung anbindet, alles aufzeichnet und das Harness aus den eigenen Läufen verbessert. Dazu kommen Erfahrungspakete, Lauf-Logs und ein offenes 27B-Modell, sodass ein Labor die veröffentlichten Zahlen reproduzieren, sein eigenes Modell unter denselben Bedingungen vergleichen oder mit einem Agenten mit offenen Gewichten statt einer kostenpflichtigen API beginnen kann.

Welches Problem es löst

Einen Sprachmodell-Agenten auf Roboter-Benchmarks zu evaluieren, bedeutet meist, für jeden Simulator eine eigene Integration zu schreiben, jeweils mit eigenem Beobachtungsformat, eigener Aktionsschnittstelle und eigener Bewertung, und die so entstehenden Vergleiche sind schwer zu reproduzieren. Den Agenten zu verbessern, ist dann Handarbeit an den Prompts. RoboRSI bietet eine Laufzeitumgebung und ein Konfigurationsformat über Benchmarks hinweg, die ihre native Bewertung behalten, zeichnet vollständige Traces auf und macht daraus getestete Verbesserungen des Harness und mit dem 27B-Modell auch Trainingsdaten.

Wichtigste Punkte

• Eine Laufzeitumgebung verbindet Modell, Prompts, Skills und Werkzeuge mit LIBERO und seinen Varianten, RoboCasa365, BEHAVIOR-1K, Bench2Dex und DexJoCo, jeweils nach deren eigenen Regeln bewertet
• Die rekursive Selbstverbesserung passt das Harness anhand aufgezeichneter Läufe an, während die Modellgewichte unverändert bleiben, und behält nur Änderungen, die im erneuten Test besser abschneiden
• Ein Sprachmodell kann planen und prüfen, während eine VLA wie π0.5 kurze Fertigkeiten ausführt; LIBERO-Agenten können π0.5 automatisch bereitstellen
• Mit GPT-6 Astra berichtet das Team auf RoboDojo-Sim einen durchschnittlichen Score von 60,08 und 54,17 % Erfolg, gegenüber 28,97 und 22,48 % für das Modell allein
• SenseNova-RoboRSI-27B-Preview ist ein Vision-Sprachmodell mit offenen Gewichten und 27B Parametern auf Basis von Qwen3.8-27B, veröffentlicht unter Apache-2.0
• Erfahrungspakete, Lauf-Logs und vorgefertigte Docker-Images werden zusammen mit dem Code veröffentlicht

Für wen

• Forschende, die Sprachmodell- oder VLM-Agenten auf Benchmarks zur Robotermanipulation evaluieren
• Teams, die Harness-Designs vergleichen: Aktionsschnittstellen, VLA-gestützte Ausführung, Kontext und Gedächtnis
• Labore, die ein verkörpertes Modell mit offenen Gewichten bereitstellen und feinabstimmen möchten statt eine kostenpflichtige API zu nutzen
• Betreuende von Benchmarks, die eine gemeinsame Agentenschnittstelle über Simulatoren hinweg suchen

Einschränkungen

• Als Pre-Alpha gekennzeichnet: Das Repository ist erst wenige Wochen alt, der technische Bericht steht noch aus, und die RoboDojo-Integration sowie mehrere andere Benchmarks sind als „demnächst“ aufgeführt
• Die Hauptergebnisse stammen vom Team selbst; die RoboDojo-Zahlen werden gerade bei der offiziellen Bestenliste eingereicht und können sich ändern, und der RoboCasa365-Vergleich nutzt eine andere Evaluationseinstellung als die offiziellen Einträge
• Die stärksten Ergebnisse nutzen GPT-6 Astra, ein kostenpflichtiges Frontier-Modell; das offene 27B-Modell erzielt auf RoboDojo deutlich weniger (durchschnittlicher Score 26,13, Erfolgsquote 20,83 %)
• Native Benchmark-Images zielen auf Linux, erweitertes LIBERO und RoboCasa365 brauchen eine NVIDIA-GPU in Docker, und für das 27B-Modell ist ein GPU-Server mit vLLM nötig
• Der Einsatz an echten Robotern ist nur in einer Demonstration gezeigt; die veröffentlichten Adapter sind für Simulations-Benchmarks
• Erfahrungspakete haben komponentenweise unterschiedliche Bedingungen, teils nicht kommerziell, und externe Simulatoren, Datensätze und Modelle behalten ihre eigenen Lizenzen