Open Source Robotics

精选高质量开源机器人项目、工具和软件，推动机器人社区发展。

SenseNova-RoboRSI

开源运行时，用于运行、评分并改进由语言模型驱动的机器人智能体

许可证

  • code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
  • run logs dataset: MIT

分别授权。RoboRSI 的代码和 SenseNova-RoboRSI-27B-Preview 权重采用 Apache-2.0，运行日志（run logs）数据集采用 MIT。经验包（experience packages）数据集声明了按组件区分的许可证：源自 GeoRT 机器人资源的 DexJoCo 材料采用 CC BY-NC（非商业），BEHAVIOR-1K 包来自一个没有仓库许可证的来源，Bench2Dex 的再分发许可记录为待定。其所连接的基准测试、仿真器和模型保留各自的许可证，使用 GPT-6 Astra 需要付费的 OpenAI API 账户。核查日期：2026-10-27。

概述

SenseNova-RoboRSI 是 SenseNova 推出的开源运行时，用于构建、评估和改进具身智能体：即能看到相机图像、并通过工具控制机器人的语言模型。该代码仓库把模型及其提示词、技能和工具连接到机器人，在基准测试自身的环境中、按该基准自身的评分规则运行，并记录每一步。在这一运行时之上，“递归自我改进”（RSI）利用记录下来的运行和任务反馈来改进智能体的执行框架（harness），包括规划、反馈和记忆处理，而模型权重保持不变；只有在重新测试中表现更好的改动才会被保留。它提供了以下基准的适配器：LIBERO 及其 LIBERO-PRO、LIBERO-Long++ 和 LIBERO-Ultra-Long 变体、RoboCasa365、BEHAVIOR-1K、Bench2Dex 和 DexJoCo，RoboDojo 等基准已宣布即将支持。团队还发布了 SenseNova-RoboRSI-27B-Preview，这是一个开放权重、270 亿参数的视觉语言模型，使用同一框架中经过验证的运行数据训练。代码和模型权重均采用 Apache-2.0 许可。该项目标注为预 Alpha（pre-alpha）阶段，SenseNova 在其关于 GPT-6 Astra 作为机器人控制器的研究中使用了它。

RoboRSI 中的智能体是一个位于 OpenAI 兼容 API 背后、可接收图像和工具调用的模型，再加上一套关于提示词、上下文、缓存和预算的配置。运行时将基准测试中的观测交给它，并执行它所选择的操作：脚本化动作、末端执行器工具，或调用一个执行短时技能的视觉-语言-动作（VLA）策略。对于 LIBERO，智能体可以自动下载并部署 openpi 中的 π0.5 策略，将其用作底层执行器，这样语言模型负责规划和复核，VLA 负责移动机械臂。每个基准测试都保留其原生的执行和评分方式，运行过程被记录为完整轨迹，可导出为训练片段。

评测只需一条命令。scripts/evaluation/evaluate_model.py 接收一个或多个基准测试，下载或构建环境，准备上下文学习（ICL）材料，并运行各任务和随机种子，提供实时进度、可恢复的运行 ID，以及每次运行的 summary.json。大多数基准测试的预构建 Docker 镜像发布在 GHCR 上，已有的基准测试服务也可以通过 HTTP 访问，无需在本地安装。ICL 经验包——即智能体在测试片段前学习的笔记和参考资料——按基准测试发布在 SenseNova-RoboRSI-Packages 数据集中，已发布运行背后的日志则在 SenseNova-RoboRSI-Log 中。

RSI 循环把运行框架本身当作训练对象。执行轨迹和任务反馈会提出对动作预测、规划、反馈和记忆组织方式的改动建议；每个候选方案都在相同任务条件下重新测试，并对智能体版本进行跟踪，使经过验证的改进得以延续。RoboRSI-27B-Preview 将这一循环扩展到模型本身：经过验证的交互经验成为目标理解、动作决策和基于反馈纠错的训练数据，更新后的模型再放回同一运行时中重新测试。

团队报告称，由 GPT-6 Astra 驱动该框架时，在 RoboDojo-Sim 上取得平均分 60.08、成功率 54.17%，而单独使用 GPT-6 Astra 时为 28.97 和 22.48%；在 LIBERO-PRO 的 Task 和 Swap 套件上达到 94.50%。基于 Qwen3.8-27B 构建的 27B 模型在 LIBERO-PRO 上，借助 VLA 辅助执行达到 92.5%，直接控制时达到 95.0%；在 RoboCasa365 上将成功率较其基础模型从 26.0% 提升至 46.5%，同时将平均输出 token 数从 59.5K 降至 15.9K。一段实机演示显示，它在 13 分钟内将一个方块放入盒中，而基础模型在 120 分钟后仍未成功。

为何重要

前沿语言模型如今已能较好地驱动机器人，以至于围绕它们的执行框架——模型看到什么、能使用哪些动作、错误如何反馈给它——在很大程度上决定了结果。RoboRSI 让这个框架成为一个开放、共享的对象：一个运行时即可把模型接入多个成熟的操作基准、按各自的规则评分、记录一切，并从自身的运行中改进框架。它同时提供经验包、运行日志和一个开放的 27B 模型，因此实验室可以复现公开的结果，在相同条件下比较自己的模型，或者从开放权重的智能体起步，而不必依赖付费 API。

解决的问题

在机器人基准上评估语言模型智能体，通常意味着要为每个模拟器单独编写集成，各自有不同的观测格式、动作接口和评分方式，由此得到的比较也难以复现。之后改进智能体又只能靠手工调提示词。RoboRSI 提供了一个跨基准统一的运行时和配置格式，各基准保留原生评分，完整记录轨迹，并把这些轨迹转化为经过测试的框架改进；配合 27B 模型，还能转化为训练数据。

要点

  • 一个运行时即可把模型、提示词、技能和工具接入 LIBERO 及其变体、RoboCasa365、BEHAVIOR-1K、Bench2Dex 和 DexJoCo，每个基准都按自身规则评分
  • 递归自我改进在模型权重不变的情况下，根据记录的运行来更新执行框架，只保留重新测试中得分更高的改动
  • 语言模型可以负责规划和审核，由 π0.5 等 VLA 执行短技能；LIBERO 智能体可以自动部署 π0.5
  • 团队报告，使用 GPT-6 Astra 时在 RoboDojo-Sim 上平均得分 60.08、成功率 54.17%，而单独使用该模型时为 28.97 和 22.48%
  • SenseNova-RoboRSI-27B-Preview 是基于 Qwen3.8-27B 的开放权重 27B 视觉语言模型，采用 Apache-2.0 许可发布
  • 经验包、运行日志和预构建 Docker 镜像与代码一同发布

适用人群

  • 在机器人操作基准上评估语言模型或 VLM 智能体的研究人员
  • 比较执行框架设计的团队：动作接口、VLA 辅助执行、上下文与记忆
  • 希望使用可部署、可微调的开放权重具身模型而非付费 API 的实验室
  • 希望在不同模拟器之间使用统一智能体接口的基准维护者

局限

  • 标注为预 Alpha（pre-alpha）阶段：代码仓库才建立几周，技术报告尚未发布，RoboDojo 集成和其他若干基准仍标注为即将推出
  • 主要结果均为团队自行报告；RoboDojo 的数字正在提交到官方排行榜，可能会有变化，而 RoboCasa365 的比较采用了与官方条目不同的评估设置
  • 最强的结果使用的是付费前沿模型 GPT-6 Astra；开放的 27B 模型在 RoboDojo 上的得分要低得多（平均得分 26.13，成功率 20.83%）
  • 原生基准镜像面向 Linux，增强版 LIBERO 和 RoboCasa365 需要在 Docker 中使用 NVIDIA GPU，部署 27B 模型需要配备 vLLM 的 GPU 服务器
  • 真实机器人的使用只在一段演示中展示；已发布的适配器都针对模拟基准
  • 经验包附带按组件区分的许可条款，其中部分为非商业许可；所接入的外部模拟器、数据集和模型保留各自的许可

本网站需要 JavaScript 才能正常运行。请启用 JavaScript 以浏览我们的开源机器人项目。