RAI

面向 ROS 2 机器人与物理 AI 的厂商中立智能体框架

许可证

Apache-2.0

概述

RAI 是一个面向物理 AI 的厂商中立智能体框架，由 Robotec.ai 基于 ROS 2 工具链构建，自 2024 年年中起持续维护。它与其说是一个智能体，不如说是一组你自行组合的软件包：rai core 负责多智能体系统与人机交互，rai_whoami 从文档、图像和 URDF 构成的结构化目录中综合出机器人的自我描述，rai_asr 与 rai_tts 负责语音输入输出，rai_perception 负责开放集目标检测，rai_sim 负责连接仿真器，rai_bench 用于对智能体与模型做基准测试，rai_nomad 负责导航。演示跑在真实平台上——一台自主果园拖拉机、一台执行语言驱动操作的 Franka Panda，以及一台进行导航的 Husarion ROSbot XL。

让它与众不同的设计选择就写在名字里：厂商中立。RAI 不预设某个模型提供方，也不预设某种机器人——它预设的是 ROS 2，并在其上向上构建。这使它成为当前这批机器人智能体框架中最保守的一个，而「保守」在这里正是褒义：它自 2024 年 6 月起就在维护，比同类项目的浪潮早了一年多，这一点在结构上看得出来。语音、感知、仿真与基准测试是各有边界的独立软件包，而不是一个庞然大物的若干功能。

rai_whoami 是值得单独点名的一块，因为它处理了其他项目大多忽略的问题：驱动机器人的智能体需要知道这台机器人是什么。它从由文档、图像和 URDF 组成的结构化目录中提取并综合出本体信息，这是对一个通常被丢给提示工程的问题给出的具体回答。rai_bench 之所以重要也是同理——一个自带基准测试套件的框架，是一个预期自己会被度量的框架。在列出的软件包里，只有用于在具身数据上微调语言模型的 rai_finetune 仍在路线图上未勾选。

为何重要

面向机器人的智能体框架在 2026 年一拥而上，其中多数只有几个月大。RAI 在这波浪潮之前就已起步，出自一家机器人软件公司而非实验室，并且构建在 ROS 2 之上而非围绕某个特定模型。对于一个在决定「要在什么之上构建」而不是「读点什么」的读者来说，长期存续与厂商中立正是真正要紧的两项性质，而这是该类别中两者兼具的那一个。

解决的问题

把语言模型接到机器人上，通常意味着自己去写胶水：语音、感知、对「这台机器人究竟是什么」的描述，以及某种判断结果是否奏效的方式。RAI 以独立 ROS 2 软件包的形式提供这些，可以逐个采用，而不必把自己绑定到某个模型厂商或机器人厂商。

要点

按设计厂商中立：不预设模型提供方，不预设机器人，构建在 ROS 2 工具链之上
由 core、whoami、asr、tts、perception、sim、bench、nomad 等独立软件包组成，而非一个庞然大物
rai_whoami 从机器人的文档、图像与 URDF 中综合出它自身的本体描述，这正是多数智能体框架丢给提示工程的那一块
rai_bench 随框架一同提供面向智能体、模型、工具与仿真器的基准测试套件
演示跑在真实平台上：自主果园拖拉机、搭配 Grounded SAM 2 的 Franka Panda，以及 Husarion ROSbot XL
自 2024 年 6 月起维护，比 2026 年那批同类框架早了一年多
天然多模态——语音输入输出、视觉与文本界面都是一等公民

适用人群

要为既有机器人技术栈加上自然语言交互的 ROS 2 团队
构建多智能体或多模态机器人行为、又不愿被单一模型提供方锁定的人
需要的不只是一个运行时，而是一套面向智能体行为的基准测试套件的研究者
在 ROS 2 上做移动机器人、机械臂或田间机械的集成商

局限

全程预设 ROS 2——对一台尚未运行在其上的机器人，这里没有路径
广度是有代价的：八个软件包成熟度不一，而 rai_finetune 在路线图上仍未勾选
演示以仿真为先；果园拖拉机与 ROSbot XL 的场景展示的是框架在仿真器中的表现，而非已部署机器的实拍
厂商中立意味着模型与密钥由你提供，因此运行它并非免费，而效果取决于框架不替你做的那些选择
文档位于独立站点而非仓库中，因此仅靠 README 无法告诉你如何开始
这种规模的框架是一项承诺；采用其中一个包很容易，采用其整体架构则不然