RAI

ROS 2 로봇과 피지컬 AI를 위한 벤더 중립 에이전트 프레임워크

라이선스

Apache-2.0

개요

RAI는 피지컬 AI를 위한 벤더 중립 에이전트 프레임워크로, Robotec.ai가 ROS 2 도구 위에 만들었고 2024년 중반부터 유지되고 있다. 하나의 에이전트라기보다 조합해서 쓰는 패키지 묶음이다. 멀티에이전트 시스템과 인간-로봇 상호작용을 맡는 rai core, 문서와 이미지와 URDF로 이뤄진 구조화된 디렉터리에서 로봇의 자기 서술을 합성하는 rai_whoami, 음성 입출력의 rai_asr와 rai_tts, 열린 집합 객체 검출의 rai_perception, 시뮬레이터 연결의 rai_sim, 에이전트와 모델을 벤치마크하는 rai_bench, 그리고 주행의 rai_nomad다. 데모는 실제 플랫폼에서 돈다 — 자율 과수원 트랙터, 언어로 조작을 수행하는 Franka Panda, 그리고 주행하는 Husarion ROSbot XL이다.

이것을 구별짓는 설계 선택은 이름에 들어 있다. 벤더 중립이다. RAI는 특정 모델 제공자도 특정 로봇도 전제하지 않는다. 전제하는 것은 ROS 2이고 그 위로 쌓아 올린다. 그래서 지금 나온 에이전트형 로보틱스 프레임워크 가운데 가장 보수적이며, 여기서 보수적이라는 말은 알맞은 말이다. 2024년 6월부터 유지되어 비슷한 프로젝트들의 물결보다 1년 넘게 앞서며, 그 점이 구조에 드러난다. 음성과 지각과 시뮬레이션과 벤치마크가 한 덩어리의 기능이 아니라 저마다 경계를 가진 별개 패키지다.

rai_whoami는 따로 짚을 만하다. 나머지가 대체로 지나치는 문제를 다루기 때문이다. 로봇을 모는 에이전트는 그 로봇이 무엇인지 알아야 한다. 이 패키지는 문서와 이미지와 URDF로 이뤄진 구조화된 디렉터리에서 체화 정보를 뽑아 합성한다. 보통은 프롬프트 엔지니어링에 떠넘겨지는 물음에 대한 구체적인 답이다. rai_bench가 중요한 이유도 같다. 자체 벤치마크 모음을 함께 내놓는 프레임워크는 스스로 측정되기를 예상하는 프레임워크다. 나열된 패키지 중에서는 체화 데이터로 언어 모델을 미세조정하는 rai_finetune만이 로드맵에서 아직 체크되지 않은 채다.

중요한 이유

로봇용 에이전트 프레임워크는 2026년에 한꺼번에 나타났고 대부분은 몇 달 되지 않았다. RAI는 그 물결 이전부터 이어져 왔고, 연구실이 아니라 로보틱스 소프트웨어 회사에서 나왔으며, 특정 모델을 중심으로가 아니라 ROS 2 위에 지어졌다. 무엇을 읽을지가 아니라 무엇 위에 지을지를 정하는 독자에게는 오래감과 벤더 중립성이 실제로 중요한 두 성질이고, 이 분류에서 그 둘을 다 가진 항목이 이것이다.

해결하는 문제

언어 모델을 로봇에 잇는 일은 대개 접착제를 직접 쓰는 일을 뜻한다. 음성, 지각, 그 로봇이 애초에 무엇인지에 대한 서술, 그리고 결과가 되는지 가릴 어떤 방법. RAI는 그것들을 별개의 ROS 2 패키지로 제공해, 모델 벤더에도 로봇 벤더에도 매이지 않고 하나씩 받아 쓸 수 있게 한다.

핵심 요점

• 설계부터 벤더 중립이다: 전제된 모델 제공자도, 전제된 로봇도 없으며 ROS 2 도구 위에 지어졌다
• core, whoami, asr, tts, perception, sim, bench, nomad라는 별개 패키지들로 이뤄져 있고 한 덩어리가 아니다
• rai_whoami는 로봇 자신의 체화 서술을 그 문서와 이미지와 URDF에서 합성한다. 대부분의 에이전트 프레임워크가 프롬프트 엔지니어링에 넘기는 부분이다
• rai_bench는 프레임워크 자체와 나란히 에이전트·모델·도구·시뮬레이터용 벤치마크 모음을 제공한다
• 데모는 실제 플랫폼에서 돈다: 자율 과수원 트랙터, Grounded SAM 2를 쓰는 Franka Panda, 그리고 Husarion ROSbot XL
• 2024년 6월부터 유지되어, 2026년의 비슷한 프레임워크 물결보다 1년 넘게 앞선다
• 구성부터 멀티모달이다 — 음성 입출력과 비전과 텍스트 인터페이스가 모두 일급이다

대상

• 기존 로봇 스택에 자연어 상호작용을 더하려는 ROS 2 팀
• 멀티에이전트나 멀티모달 로봇 행동을 만들되 한 모델 제공자에 묶이고 싶지 않은 사람
• 실행 환경만이 아니라 에이전트 행동용 벤치마크 모음이 필요한 연구자
• ROS 2 위에서 이동 로봇, 매니퓰레이터, 농기계를 다루는 통합업체

한계

• 전반에 걸쳐 ROS 2를 전제한다 — 아직 그 위에 있지 않은 로봇을 위한 길은 여기에 없다
• 넓이에는 대가가 있다: 성숙도가 제각각인 여덟 패키지가 있고, rai_finetune은 로드맵에서 아직 체크되지 않았다
• 데모는 시뮬레이션 우선이다. 트랙터와 ROSbot XL 장면은 배치된 기계의 실제 영상이 아니라 시뮬레이터 안의 프레임워크를 보여 준다
• 벤더 중립이란 모델과 키를 당신이 댄다는 뜻이다. 그러니 돌리는 일은 공짜가 아니고, 품질은 프레임워크가 대신 내려 주지 않는 선택에 달려 있다
• 문서가 저장소가 아니라 별도 사이트에 있어서 README만으로는 시작하는 법을 알 수 없다
• 이 규모의 프레임워크는 하나의 약속이다. 패키지 하나를 받아 쓰기는 쉽지만 아키텍처를 받아들이기는 쉽지 않다