Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

RAI

ROS 2 ロボットとフィジカル AI のためのベンダー中立なエージェント基盤

ライセンス

Apache-2.0

概要

RAI はフィジカル AI のためのベンダー中立なエージェント基盤で、Robotec.ai が ROS 2 のツール群の上に構築し、2024 年半ばから保守しています。単一のエージェントというより、組み合わせて使う一群のパッケージです。マルチエージェントと人間・ロボット対話のための rai core、文書・画像・URDF から成る構造化ディレクトリからロボットの自己記述を合成する rai_whoami、音声入出力の rai_asr と rai_tts、オープンセット物体検出の rai_perception、シミュレータ接続の rai_sim、エージェントとモデルのベンチマークを行う rai_bench、そしてナビゲーションの rai_nomad。デモは実在のプラットフォーム上で動きます——自律果樹園トラクタ、言語で駆動する操作を行う Franka Panda、そしてナビゲートする Husarion ROSbot XL です。

これを際立たせる設計判断は名前に書かれています。ベンダー中立です。RAI は特定のモデル提供者も特定のロボットも前提にしません。前提にするのは ROS 2 であり、その上に積み上げます。それが本作を、現在のエージェント型ロボティクス基盤の中で最も保守的なものにしています。そして「保守的」はここでは適切な語です。2024 年 6 月から保守されており、同種プロジェクトの波より一年以上早く、それが構造に表れています。音声も知覚もシミュレーションもベンチマークも、一枚岩の機能ではなく、それぞれ境界を持つ独立したパッケージです。

rai_whoami は個別に名指しする価値があります。他が概ね見落としている問題、すなわち「ロボットを操るエージェントは、そのロボットが何であるかを知る必要がある」に取り組んでいるからです。文書・画像・URDF から成る構造化ディレクトリから身体情報を抽出し合成します。これは普通ならプロンプト設計に丸投げされる問いへの具体的な答えです。rai_bench が重要なのも同じ理由で、自前のベンチマーク一式を同梱する基盤とは、測られることを想定している基盤です。列挙されたパッケージのうち、身体化データ上で言語モデルを微調整する rai_finetune だけがロードマップ上で未着手のままです。

重要な理由

ロボット向けのエージェント基盤は 2026 年に一斉に現れ、その多くは生後数か月です。RAI はその波より前から続いており、研究室ではなくロボティクスのソフトウェア企業から来ており、特定モデルの周りではなく ROS 2 の上に建てられています。何を読むかではなく何の上に築くかを決めている読者にとって、長く続くこととベンダー中立であることが実際に効く二つの性質であり、本作はこの分類でその両方を備えた項目です。

解決する課題

言語モデルをロボットにつなぐことは、たいてい接着剤を自分で書くことを意味します。音声、知覚、そもそもそのロボットが何であるかの記述、そして結果が機能しているかを判断する何らかの手段。RAI はそれらを独立した ROS 2 パッケージとして提供し、モデルベンダにもロボットベンダにも縛られずに一つずつ採用できるようにします。

主なポイント

  • 設計からしてベンダー中立：前提となるモデル提供者も前提となるロボットもなく、ROS 2 のツール群の上に構築されている
  • core、whoami、asr、tts、perception、sim、bench、nomad という独立したパッケージから成り、一枚岩ではない
  • rai_whoami はロボット自身の身体記述を、その文書・画像・URDF から合成する。多くのエージェント基盤がプロンプト設計に委ねている部分である
  • rai_bench は基盤そのものと並んで、エージェント・モデル・ツール・シミュレータ向けのベンチマーク一式を提供する
  • デモは実在のプラットフォーム上で動く：自律果樹園トラクタ、Grounded SAM 2 を使う Franka Panda、そして Husarion ROSbot XL
  • 2024 年 6 月から保守されており、2026 年の同種基盤の波より一年以上早い
  • 作りからしてマルチモーダル——音声の入出力、視覚、テキストの各インタフェースが一級市民である

対象

  • 既存のロボットスタックに自然言語対話を加えたいROS 2チーム
  • マルチエージェントやマルチモーダルなロボットの振る舞いを構築しつつ、単一のモデル提供者に縛られたくない人
  • 実行環境だけでなく、エージェントの振る舞いを評価するベンチマーク一式を必要とする研究者
  • ROS 2上で移動ロボット、マニピュレータ、屋外作業機械を扱うインテグレータ

制限事項

  • 全体を通じて ROS 2 が前提——まだその上に載っていないロボットのための道はここにはない
  • 広さには代償がある：成熟度の異なる八つのパッケージがあり、rai_finetune はロードマップ上で未着手のままである
  • デモはシミュレーション優先である。トラクタや ROSbot XL の場面は、実配備機の実写ではなくシミュレータ内の基盤を示している
  • ベンダー中立とは、モデルと鍵をあなたが用意するということであり、動かすことは無料ではなく、品質は基盤が代わりに決めてくれない選択に左右される
  • 文書はリポジトリではなく別サイトにあるため、README だけでは始め方がわからない
  • この規模の基盤は一つの約束である。パッケージを一つ採るのは容易だが、アーキテクチャを採るのは容易ではない

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。