ROSA
NASA JPL 的 AI 代理,讓你以自然語言與 ROS 機器人對話
授權條款
Apache-2.0
概述
ROSA(Robot Operating System Agent)是 NASA Jet Propulsion Laboratory 推出的開源 AI 代理,將大型語言模型連接到 ROS 1 與 ROS 2 機器人。它建構在 LangChain 框架之上,將自然語言請求(「有哪些主題正在發布?」「攝影機狀態正常嗎?」「往前開一公尺」)轉換為真正的 ROS 檢查與指令,並具有一套工具系統,供開發者以機器人專屬的技能與安全約束加以擴充。
ROSA 將 LLM 包裝在一組精選的 ROS 工具中:開箱即可列出與顯示主題內容、檢查節點、服務、參數與 TF 座標框架、讀取日誌與診斷資訊,並以淺白的語言解釋它的發現。開發者可以註冊額外的 Python 工具,以提供機器人專屬的能力(運動指令、任務動作、儀器控制),而 ROSA 的提示框架則負責推理該使用哪個工具。它透過透明的轉接層同時支援 ROS 1 與 ROS 2,可搭配雲端託管或本地的 LLM,並附有示範,包括一個 TurtleSim 代理,以及用於 NeBula-Spot 機器人等 JPL 研究平台的整合範例。由於代理是透過明確、可稽核的工具呼叫運作,而不是直接存取 shell,團隊可以精確界定模型能對機器人做什麼。
為何重要
ROSA 是 LLM 代理與真實機器人中介軟體之間最早一批認真、具機構背書的橋梁之一:把 NASA JPL 的工程實力用在「與你的機器人對話」這個問題上,而且它出現的時機,正是這個領域逐漸聚焦於以自然語言介面進行機器人操作與診斷之時。
解決的問題
ROS 檢查的學習曲線陡峭:診斷一台機器人意味著要背下 rostopic/ros2topic 的各種指令咒語,還要解讀一大片終端機輸出。ROSA 讓操作人員、學生,甚至經驗豐富的開發者都能以對話方式詢問與指揮機器人,並由整合者定義防護機制。
重點
- ROS 1 與 ROS 2 的自然語言介面:主題、節點、服務、參數、TF、日誌
- 建構在 LangChain 之上,具有可擴充的 Python 工具系統,用於機器人專屬技能
- 明確的工具呼叫架構,讓 LLM 對機器人的存取有界限且可稽核
- 可搭配雲端託管或本地的 LLM;附有 TurtleSim 與 JPL 機器人示範
- 採用 Apache-2.0 授權,由 NASA JPL 公開開發
適用對象
- 加入對話式診斷的 ROS 開發者
- 機器人操作人員與現場技術人員
- 人機互動研究人員
- 想降低 ROS 入門門檻的教育工作者
限制
- 回應品質與安全性取決於底層的 LLM 與整合者的工具設計
- LLM 的延遲使它只能作為操作輔助,而不是即時控制路徑
- 透過 LLM 指揮真實硬體,需要經過仔細設計的約束與審查