SenseNova-RoboRSI

언어 모델로 움직이는 로봇 에이전트를 실행하고 채점하며 개선하는 오픈 런타임

라이선스

• code and the SenseNova-RoboRSI-27B-Preview weights: Apache 2.0
• run logs dataset: MIT

라이선스가 나뉘어 있습니다. RoboRSI 코드와 SenseNova-RoboRSI-27B-Preview 가중치는 Apache-2.0이며, 실행 로그(run logs) 데이터셋은 MIT입니다. 경험 패키지(experience packages) 데이터셋은 구성 요소별 라이선스를 명시합니다: GeoRT 로봇 에셋에서 파생된 DexJoCo 자료는 CC BY-NC(비상업적)이고, BEHAVIOR-1K 패키지는 저장소 라이선스가 없는 소스에서 왔으며, Bench2Dex 재배포 허가는 보류 중으로 기록되어 있습니다. 연결되는 벤치마크, 시뮬레이터, 모델은 각자의 라이선스를 따르며, GPT-6 Astra를 사용하려면 유료 OpenAI API 계정이 필요합니다. 2026-10-27 확인.

개요

SenseNova-RoboRSI는 SenseNova가 공개한 오픈소스 런타임으로, 체화 에이전트를 구축하고 평가하며 개선하는 데 쓰입니다. 여기서 에이전트란 카메라 이미지를 보고 도구를 통해 로봇을 제어하는 언어 모델을 말합니다. 저장소는 모델과 그 프롬프트, 스킬, 도구를 로봇에 연결하고, 벤치마크 자체의 환경에서 해당 벤치마크의 채점 방식대로 실행하며, 모든 단계를 기록합니다. 이 런타임 위에서 '재귀적 자기 개선'(RSI)은 기록된 실행과 작업 피드백을 활용해 에이전트의 하네스, 즉 계획, 피드백, 메모리 처리를 개선합니다. 모델 가중치는 그대로 두고, 재시험에서 더 나은 결과를 낸 변경만 유지합니다. LIBERO와 그 변형인 LIBERO-PRO, LIBERO-Long++, LIBERO-Ultra-Long, RoboCasa365, BEHAVIOR-1K, Bench2Dex, DexJoCo용 어댑터를 제공하며, RoboDojo 등도 지원 예정으로 발표되었습니다. 팀은 또한 같은 하네스에서 검증된 실행으로 학습한 270억 매개변수의 오픈 웨이트 비전 언어 모델 SenseNova-RoboRSI-27B-Preview도 공개했습니다. 코드와 모델 가중치는 모두 Apache-2.0입니다. 이 프로젝트는 프리알파로 표시되어 있으며, SenseNova는 GPT-6 Astra를 로봇 컨트롤러로 사용한 연구에서 이를 사용했습니다.

RoboRSI에서 에이전트란 이미지와 도구 호출을 받는 OpenAI 호환 API 뒤의 모델에, 프롬프트·컨텍스트·캐싱·예산 구성을 더한 것입니다. 런타임은 벤치마크의 관측을 에이전트에 넘기고 에이전트가 선택한 것을 실행합니다. 스크립트 동작, 엔드 이펙터 도구, 또는 짧은 스킬을 수행하는 비전-언어-행동(VLA) 정책 호출입니다. LIBERO의 경우 에이전트가 openpi의 π0.5 정책을 자동으로 다운로드·배포해 저수준 실행기로 쓸 수 있으므로, 언어 모델은 계획과 검토를 맡고 VLA가 팔을 움직입니다. 각 벤치마크는 고유의 실행 방식과 채점 방식을 유지하며, 실행 결과는 훈련 에피소드로 내보낼 수 있는 전체 트레이스로 기록됩니다.

평가는 명령 하나로 끝납니다. scripts/evaluation/evaluate_model.py는 하나 이상의 벤치마크를 받아 환경을 다운로드하거나 빌드하고, 인컨텍스트 학습(ICL) 자료를 준비한 뒤, 실시간 진행 상황 표시, 재개 가능한 실행 ID, 실행별 summary.json과 함께 작업과 시드를 실행합니다. 대부분의 벤치마크용 사전 빌드 Docker 이미지가 GHCR에 있으며, 기존 벤치마크 서비스는 로컬에 설치하는 대신 HTTP로 접근할 수 있습니다. 에이전트가 테스트 에피소드 전에 학습하는 노트와 참고 자료인 ICL 경험 패키지는 SenseNova-RoboRSI-Packages 데이터셋에 벤치마크별로 공개되어 있고, 공개된 실행의 로그는 SenseNova-RoboRSI-Log에 있습니다.

RSI 루프는 하네스 자체를 훈련 대상으로 다룹니다. 실행 트레이스와 작업 피드백을 바탕으로 행동 예측, 계획, 피드백, 메모리 구성에 대한 변경안을 제시하고, 각 후보를 같은 작업 조건에서 다시 시험하며, 에이전트 버전을 추적해 검증된 개선이 이어지도록 합니다. RoboRSI-27B-Preview는 이 루프를 모델로 확장합니다. 검증된 상호작용 경험이 목표 이해, 행동 결정, 피드백을 통한 수정을 위한 훈련 데이터가 되고, 업데이트된 모델은 같은 런타임으로 돌아가 다시 시험됩니다.

팀의 보고에 따르면 GPT-6 Astra가 하네스를 구동할 때 RoboDojo-Sim에서 평균 점수 60.08, 성공률 54.17%를 기록했으며, 이는 GPT-6 Astra 단독의 28.97 및 22.48%와 대비됩니다. LIBERO-PRO의 Task 및 Swap 스위트에서는 94.50%를 기록했습니다. Qwen3.8-27B 기반의 27B 모델은 LIBERO-PRO에서 VLA 보조 실행으로 92.5%, 직접 제어로 95.0%에 도달했으며, RoboCasa365 성공률을 기본 모델 대비 26.0%에서 46.5%로 높이면서 평균 출력 토큰을 59.5K에서 15.9K로 줄였습니다. 실제 로봇 시연에서는 블록을 상자에 13분 만에 넣었는데, 기본 모델은 120분이 지나도 성공하지 못했습니다.

중요한 이유

최첨단 언어 모델은 이제 로봇을 꽤 잘 움직일 수 있어서, 이를 둘러싼 하네스, 즉 모델이 무엇을 보고 어떤 행동을 선택할 수 있으며 실수가 어떻게 다시 전달되는지가 결과의 상당 부분을 좌우합니다. RoboRSI는 이 하네스를 개방되고 공유 가능한 대상으로 만듭니다. 하나의 런타임으로 모델을 여러 확립된 조작 벤치마크에 각자의 채점 방식대로 연결하고, 모든 것을 기록하며, 자체 실행에서 하네스를 개선합니다. 경험 패키지, 실행 로그, 오픈 27B 모델도 함께 제공되므로, 연구실은 공개된 수치를 재현하거나, 같은 조건에서 자체 모델을 비교하거나, 유료 API 대신 오픈 웨이트 에이전트로 시작할 수 있습니다.

해결하는 문제

로봇 벤치마크에서 언어 모델 에이전트를 평가하려면 보통 시뮬레이터마다 별도의 통합을 작성해야 하며, 관측 형식, 행동 인터페이스, 채점 방식이 저마다 달라 그 결과로 나온 비교는 재현하기 어렵습니다. 에이전트 개선은 그 뒤 프롬프트를 손으로 다듬는 작업이 됩니다. RoboRSI는 고유의 채점 방식을 유지하는 벤치마크들에 걸쳐 하나의 런타임과 설정 형식을 제공하고, 전체 트레이스를 기록하며, 이를 검증된 하네스 개선으로, 27B 모델과 함께라면 학습 데이터로 바꿉니다.

핵심 요점

• 하나의 런타임으로 모델, 프롬프트, 스킬, 도구를 LIBERO와 그 변형, RoboCasa365, BEHAVIOR-1K, Bench2Dex, DexJoCo에 연결하며, 각 벤치마크는 자체 규칙으로 채점된다
• 재귀적 자기 개선은 모델 가중치를 고정한 채 기록된 실행으로 하네스를 업데이트하고, 재시험에서 점수가 더 높은 변경만 유지한다
• 언어 모델이 계획과 검토를 맡고 π0.5 같은 VLA가 짧은 스킬을 실행할 수 있으며, LIBERO 에이전트는 π0.5를 자동으로 배포할 수 있다
• 팀은 GPT-6 Astra를 사용했을 때 RoboDojo-Sim에서 평균 점수 60.08, 성공률 54.17%를 보고했으며, 모델 단독으로는 28.97과 22.48%였다
• SenseNova-RoboRSI-27B-Preview는 Qwen3.8-27B 기반의 오픈 웨이트 27B 비전 언어 모델로, Apache-2.0으로 공개되었다
• 경험 패키지, 실행 로그, 사전 빌드 Docker 이미지가 코드와 함께 공개되어 있다

대상

• 로봇 조작 벤치마크에서 언어 모델이나 비전 언어 모델(VLM) 에이전트를 평가하는 연구자
• 행동 인터페이스, VLA 보조 실행, 컨텍스트와 메모리 등 하네스 설계를 비교하는 팀
• 유료 API 대신 배포하고 미세 조정할 수 있는 오픈 웨이트 체화 모델을 원하는 연구실
• 시뮬레이터 전반에 걸친 공통 에이전트 인터페이스를 찾는 벤치마크 관리자

한계

• 프리알파로 표시되어 있다. 저장소는 공개된 지 몇 주밖에 되지 않았고, 기술 보고서는 아직 나오지 않았으며, RoboDojo 통합과 다른 여러 벤치마크는 출시 예정으로 표시되어 있다
• 주요 결과는 팀 자체의 보고다. RoboDojo 수치는 공식 리더보드에 제출 중이어서 바뀔 수 있고, RoboCasa365 비교는 공식 항목과 다른 평가 설정을 사용한다
• 가장 좋은 결과는 유료 최첨단 모델인 GPT-6 Astra를 사용한 것이며, 오픈 27B 모델의 RoboDojo 점수는 훨씬 낮다(평균 점수 26.13, 성공률 20.83%)
• 기본 벤치마크 이미지는 Linux용이고, 확장 LIBERO와 RoboCasa365는 Docker에서 NVIDIA GPU가 필요하며, 27B 모델을 서비스하려면 vLLM을 실행하는 GPU 서버가 필요하다
• 실제 로봇 사용은 시연으로만 제시되었으며, 공개된 어댑터는 시뮬레이션 벤치마크용이다
• 경험 패키지는 구성 요소별로 조건이 다르고 일부는 비상업용이며, 외부 시뮬레이터, 데이터셋, 모델은 각자의 라이선스를 따른다