Open Source Robotics

고품질 오픈소스 로봇 프로젝트, 도구 및 소프트웨어의 엄선된 컬렉션.

uni-robot-agent

오픈 웨이트 언어 모델이 공유 도구로 로봇을 제어하게 하는 오픈 하네스

라이선스

MIT

개요

uni-robot-agent는 로봇 사용 에이전트를 위한 MIT 라이선스 하네스입니다. 로봇 사용 에이전트란 관절 명령을 출력하는 대신 인식과 동작을 위한 도구를 호출해 로봇을 제어하는 언어 모델을 말합니다. Tsinghua University와 UC Berkeley가 논문 'Democratizing Robot-Use Agents: A Unified Harness with Open Models'(2026년 11월)와 함께 공개했으며, 모든 환경에 동일한 도구 인터페이스를 제공하고, Codex 또는 Claude Code 런타임이나 자체 Python SDK를 통해 에이전트를 실행하며, 각 에피소드를 기록해 로컬 대시보드에서 재생할 수 있게 합니다. 공개 버전에는 세 가지 시뮬레이션 통합이 포함되며, ARX One과 Franka 실물 로봇 지원은 발표되었지만 아직 공개되지 않았습니다.

uni-robot-agent는 비전 기능을 갖춘 언어 모델을 하나의 공유 도구 세트를 통해 로봇에 연결합니다. 에이전트는 카메라 이미지, 캘리브레이션, 로봇 기술 정보를 바탕으로 추론한 뒤 인식 도구(이미지에서 객체 위치로)와 동작 도구(목표에서 로봇 행동으로)를 호출하며, 어댑터는 이 호출을 각 환경의 네이티브 API로 변환하고 실행 확인 정보를 피드백으로 반환합니다. 실행기는 같은 팔에 대한 동작 순서를 유지하면서 에이전트의 추론과 도구 실행을 겹쳐 진행합니다. Direct 모드에서는 에이전트가 이 도구들로 로봇을 구동하고, Hybrid 모드에서는 저수준 제어를 π₀.₅ 같은 호환 행동 모델에 넘깁니다.

릴리스(PyPI의 v0.1.1, Python 3.11+, 시뮬레이터용 Linux GPU 호스트)는 세 가지 통합을 지원합니다. 양팔 조작 벤치마크인 RoboDojo, LIBERO, RoboCasa, Meta-World, robosuite, ManiSkill에서 선별한 작업과 MuJoCo Menagerie 및 Genesis 어댑터를 갖춘 RoboUse, 그리고 Isaac Lab에서 실행되는 단일 팔 DROID 작업인 RoboLab입니다. 기본적으로 논문의 현실적인 설정에서 실행되며, 시뮬레이터 깊이 정보나 작업 검증기 피드백은 에이전트에 제공되지 않습니다.

논문에서 오픈 웨이트 모델 Qwen3.8-Flash-Next는 이 하네스를 통해 제로샷으로 RoboDojo Score 31.39를 달성했습니다. 같은 모델이 이전 RoboProbe 하네스에서 기록한 점수는 1.90이며, 공개된 GPT-6 Astra–RoboProbe 결과는 28.97입니다. 19개의 실물 로봇 작업에서는 53.50을 기록했으며, 작업당 10시간 분량의 데이터로 파인튜닝한 π₀.₅는 47.75, 제로샷 Dream-1은 43.50이었습니다. 저자들은 자신들의 에이전트가 D405 센서 깊이를 사용한 반면 두 베이스라인은 RGB만 사용했다고 밝히고 있습니다.

중요한 이유

GPT-6 Astra 같은 프런티어 모델 기반의 로봇 사용 에이전트는 좋은 도구를 갖춘 범용 모델이 제로샷으로 물체를 조작할 수 있음을 보여 주었지만, 가중치가 공개되지 않아 연구자들이 이 모델들을 그 일에 더 능숙해지도록 학습시킬 수 없습니다. uni-robot-agent는 하네스가 신뢰할 수 있는 도구와 유익한 피드백을 제공하면 오픈 웨이트 모델도 이미 경쟁력 있는 결과를 낸다는 것을 보여 주며, 모든 에피소드를 환경에 관계없이 하나의 형식으로 기록합니다. 이것이 바로 오픈 로봇 사용 에이전트를 학습시키는 데 필요한 것입니다. 모델 세대, 계열, 규모에 걸친 저자들의 분석은 성공을 시각적 이해, 공간 그라운딩, 기하학적 코딩, 체화된 추론이라는 네 가지 능력과 연결하여 학습 연구에 구체적인 목표를 제시합니다. 논문 코드로만 공개된 것이 아니라 문서를 갖춘 설치 가능한 패키지로 배포됩니다(GitHub).

해결하는 문제

로봇 사용 에이전트 연구는 유료 API로 접근하는 독점 모델, 하나의 시뮬레이터에 묶인 하네스, 에이전트에게 시뮬레이터의 특권 정보를 제공하는 설정에 의존해 왔습니다. uni-robot-agent는 환경 전반에서 공유 도구를 쓰는 하나의 오픈 하네스를 제공하고, Responses 호환 엔드포인트라면 어떤 것을 통해서든 오픈 웨이트 모델이나 호스팅 모델을 실행하며, 에이전트가 실제 로봇이 가질 수 있는 정보만 사용하도록 제한하고, 학습에 재사용할 수 있는 상호작용 기록을 저장합니다.

핵심 요점

  • 시뮬레이터 전반에서 인식, 동작, 스킬, 에피소드 제어를 위한 하나의 도구 인터페이스와 각 환경의 네이티브 API용 어댑터
  • Codex 또는 Claude Code 런타임이나 Python SDK로 에이전트를 실행하며, 모든 Responses 호환 모델 엔드포인트 사용 가능
  • Direct 모드는 도구로 로봇을 구동하고, Hybrid 모드는 π₀.₅ 같은 행동 모델을 추가
  • 세 가지 시뮬레이션 통합: RoboDojo, RoboUse(LIBERO, RoboCasa, Meta-World, robosuite, ManiSkill 등), Isaac Lab 기반 RoboLab
  • 논문 결과: 오픈 웨이트 Qwen3.8-Flash-Next가 RoboDojo에서 제로샷으로 31.39를 기록해, 공개된 GPT-6 Astra–RoboProbe 결과 28.97을 상회

대상

  • 오픈 웨이트 모델을 로봇 사용 에이전트로 학습하거나 평가하는 연구자
  • 같은 작업에서 언어 모델 에이전트와 VLA 정책을 비교하는 로봇 학습 연구 그룹
  • 문서화된 Python SDK를 통해 LLM으로 시뮬레이션 로봇을 구동하려는 개발자
  • 공유 도구 인터페이스 뒤에 새 환경을 추가하는 벤치마크 개발자

한계

  • 공개 버전은 시뮬레이션 전용: 논문의 19개 실제 환경 작업에 사용된 ARX One 및 Franka 통합은 출시 예정으로 표시되어 있음
  • 시뮬레이터에는 지원되는 Linux GPU 호스트가 필요하며, 기본 패키지는 시뮬레이터나 행동 모델 체크포인트를 설치하지 않음
  • 결과는 연결하는 모델에 따라 달라짐. 에이전트에는 Responses 호환 엔드포인트 뒤의 비전 지원 모델이 필요하며, 호스팅 모델의 경우 호출당 비용이 발생함
  • 2026년 11월 버전 0.1.1로 공개되어 인터페이스가 아직 바뀔 수 있음
  • 실제 환경 비교는 동일 조건이 아님: 에이전트는 센서 깊이를 사용한 반면 π₀.₅ 및 Dream-1 베이스라인은 RGB만 사용함

이 웹사이트는 JavaScript가 필요합니다. 오픈소스 로봇 프로젝트를 탐색하려면 JavaScript를 활성화하세요.