Open Source Robotics

精選高品質的開源機器人專案、工具與軟體，推動機器人社群向前發展。

SenseNova-RoboRSI

執行、評分並改進由語言模型驅動之機器人代理的開放執行環境

授權條款

  • code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
  • run logs dataset: MIT

混合授權。RoboRSI 的程式碼與 SenseNova-RoboRSI-27B-Preview 權重採用 Apache-2.0，執行紀錄資料集採用 MIT。經驗套件資料集宣告了各元件特定的授權：衍生自 GeoRT 機器人資產的 DexJoCo 素材採用 CC BY-NC（非商業），BEHAVIOR-1K 套件來自一個沒有儲存庫授權的來源，而 Bench2Dex 的再散布許可則記錄為待定。它所連接的基準測試、模擬器與模型各自保留其授權，使用 GPT-6 Astra 需要付費的 OpenAI API 帳號。查核日期：2026-10-27。

概述

SenseNova-RoboRSI 是 SenseNova 推出的開源執行環境，用於建構、評估與改進具身代理，也就是能看攝影機影像、並透過工具控制機器人的語言模型。儲存庫把模型及其提示詞、技能與工具連接到機器人，在基準測試自己的環境中以該基準測試自己的評分方式執行，並記錄每一步。在這個執行環境之上，「遞迴自我改進」（RSI）利用記錄下來的執行與任務回饋，改進代理的框架（harness），也就是它的規劃、回饋與記憶處理，同時保持模型權重不變，並且只保留重新測試後表現更好的變更。它附有適用 LIBERO 及其 LIBERO-PRO、LIBERO-Long++ 與 LIBERO-Ultra-Long 變體、RoboCasa365、BEHAVIOR-1K、Bench2Dex 與 DexJoCo 的轉接器，RoboDojo 等其他基準測試則已宣布即將支援。團隊也釋出了 SenseNova-RoboRSI-27B-Preview，這是一個開放權重、270 億參數的視覺語言模型（VLM），以同一框架中經過驗證的執行紀錄訓練而成。程式碼與模型權重皆採用 Apache-2.0。專案標示為 pre-alpha，SenseNova 曾在其將 GPT-6 Astra 作為機器人控制器的研究中使用它。

在 RoboRSI 中，代理是一個位於 OpenAI 相容 API 之後、能接收影像與工具呼叫的模型，加上一份涵蓋提示詞、脈絡、快取與預算的設定。執行環境把來自基準測試的觀測交給它，並執行它所選擇的動作：腳本化動作、末端執行器工具，或呼叫一個執行短技能的視覺-語言-動作（VLA）策略。在 LIBERO 上，代理可以自動下載並部署 openpi 的 π0.5 策略，作為其低階執行器，讓語言模型負責規劃與檢討，由 VLA 移動手臂。每個基準測試都保留其原生的執行與評分方式，執行過程則記錄成完整的軌跡紀錄，可匯出為訓練片段。

評估只需一個指令。scripts/evaluation/evaluate_model.py 接收一個或多個基準測試，下載或建置環境，準備情境學習（ICL）素材，並執行各項任務與隨機種子，同時顯示即時進度、提供可續跑的執行 ID，並為每次執行產生 summary.json。多數基準測試的預建 Docker 映像放在 GHCR 上，既有的基準測試服務也可以透過 HTTP 存取，而不必在本機安裝。ICL 經驗套件，也就是代理在測試片段之前研讀的筆記與參考資料，依基準測試發布在 SenseNova-RoboRSI-Packages 資料集中，已發布執行背後的紀錄則放在 SenseNova-RoboRSI-Log 中。

RSI 迴圈把框架當作被訓練的對象。執行軌跡與任務回饋會提出對動作預測、規劃、回饋與記憶組織的修改建議；每個候選修改都會在相同的任務條件下重新測試，代理版本也會被追蹤，讓經過驗證的改進得以延續。RoboRSI-27B-Preview 把這個迴圈延伸到模型本身：經過驗證的互動經驗會成為目標理解、動作決策與依回饋修正的訓練資料，更新後的模型再回到同一個執行環境中重新測試。

團隊報告，由 GPT-6 Astra 驅動這個框架時，在 RoboDojo-Sim 上的平均分數為 60.08、成功率為 54.17%，而單獨使用 GPT-6 Astra 時為 28.97 與 22.48%；在 LIBERO-PRO 的 Task 與 Swap 測試組上則達到 94.50%。以 Qwen3.8-27B 為基礎的 27B 模型，在 LIBERO-PRO 上以 VLA 輔助執行達到 92.5%、以直接控制達到 95.0%，並把 RoboCasa365 的成功率從其基礎模型的 26.0% 提升到 46.5%，同時把平均輸出 token 數從 59.5K 減少到 15.9K。一段真實機器人示範顯示，它在 13 分鐘內把一塊積木放進盒子裡，而基礎模型在 120 分鐘後仍未成功。

為何重要

前沿語言模型如今驅動機器人的能力已經夠好，以至於圍繞它們的框架，也就是模型看到什麼、提供給它哪些動作，以及如何把它的錯誤回饋給它，在很大程度上決定了結果。RoboRSI 讓這個框架成為一個開放、共享的對象：一個執行環境，可把模型接入數個成熟的操作基準測試、沿用它們自己的評分方式、記錄一切，並從自己的執行中改進框架。它附有經驗套件、執行紀錄與一個開放的 27B 模型，因此實驗室可以重現已發布的數字、在相同條件下比較自己的模型，或從一個開放權重的代理起步，而不是使用付費 API。

解決的問題

要在機器人基準測試上評估語言模型代理，通常得為每個模擬器各寫一套整合，每個模擬器都有自己的觀測格式、動作介面與評分方式，所得到的比較也難以重現。之後改進代理，又是手動調整提示詞的工作。RoboRSI 提供一個跨基準測試的執行環境與設定格式，同時保留各基準測試的原生評分，記錄完整的軌跡，並把這些軌跡轉化為對框架經過測試的改進，搭配 27B 模型時還能轉化為訓練資料。

重點

  • 一個執行環境把模型、提示詞、技能與工具連接到 LIBERO 及其變體、RoboCasa365、BEHAVIOR-1K、Bench2Dex 與 DexJoCo，各自依其規則評分
  • 遞迴自我改進在模型權重不變的情況下，從記錄的執行中更新框架，只保留重新測試後得分更高的變更
  • 語言模型可以負責規劃與檢討，由 π0.5 等 VLA 執行短技能；LIBERO 代理可以自動部署 π0.5
  • 團隊報告，搭配 GPT-6 Astra 時在 RoboDojo-Sim 上的平均分數為 60.08、成功率為 54.17%，而單獨使用該模型時為 28.97 與 22.48%
  • SenseNova-RoboRSI-27B-Preview 是以 Qwen3.8-27B 為基礎、開放權重的 27B 視覺語言模型（VLM），以 Apache-2.0 釋出
  • 經驗套件、執行紀錄與預建 Docker 映像都與程式碼一同發布

適用對象

  • 在機器人操作基準測試上評估語言模型或視覺語言模型（VLM）代理的研究人員
  • 比較各種框架設計的團隊：動作介面、VLA 輔助執行、脈絡與記憶
  • 想要一個可部署與微調的開放權重具身模型、而非付費 API 的實驗室
  • 尋找跨模擬器通用代理介面的基準測試維護者

限制

  • 標示為 pre-alpha：儲存庫才幾週大，技術報告尚未發布，RoboDojo 整合與其他數個基準測試都列為即將推出
  • 主要成果都是團隊自行報告的；RoboDojo 的數字正在提交至官方排行榜，可能會變動，而 RoboCasa365 的比較所用的評估設定與官方項目不同
  • 最強的成果使用的是付費前沿模型 GPT-6 Astra；開放的 27B 模型在 RoboDojo 上的分數低得多（平均分數 26.13、成功率 20.83%）
  • 原生基準測試映像以 Linux 為目標，增強版 LIBERO 與 RoboCasa365 需要在 Docker 中使用 NVIDIA GPU，而提供 27B 模型服務需要一台搭配 vLLM 的 GPU 伺服器
  • 真實機器人的使用只在一段示範中展示；已釋出的轉接器都是針對模擬基準測試
  • 經驗套件附有各元件特定的條款，其中部分為非商業，外部的模擬器、資料集與模型也各自保留其授權

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。