Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

uni-robot-agent

讓開放權重語言模型透過共用工具控制機器人的開放執行框架

授權條款

MIT

概述

uni-robot-agent 是一個採用 MIT 授權、供機器人使用代理(robot-use agent)使用的執行框架:這類語言模型透過呼叫感知與運動工具來控制機器人,而不是輸出關節指令。它由清華大學與 UC Berkeley 隨論文〈Democratizing Robot-Use Agents: A Unified Harness with Open Models〉(2026 年 11 月)一同發布,為每個環境提供相同的工具介面,透過 Codex 或 Claude Code 執行環境或它自己的 Python SDK 執行代理,並記錄每個回合,以便在本機儀表板中重播。0.2.0 版(2026 年 11 月)列出十一項模擬整合(其中三項為實驗性)以及 ARX ONE 實體機器人;對 Franka 的支援已經宣布,但尚未釋出。

uni-robot-agent 透過一套共用工具,把具備視覺能力的語言模型連接到機器人。代理根據攝影機影像、校正資料與機器人描述進行推理,然後呼叫感知工具(從影像到物體位置)與運動工具(從目標到機器人動作);轉接層把這些呼叫轉譯成各環境的原生 API,並回傳執行回執作為回饋。執行器讓代理的推理與工具執行重疊進行,同時讓同一支手臂上的動作保持順序。在 Direct 模式下,代理透過這些工具驅動機器人;Hybrid 模式則把低階控制交給相容的動作模型,例如 π₀.₅。

目前版本(PyPI 上的 v0.2.0,2026 年 11 月 11 日,Python 3.11+,模擬器需要 Linux GPU 主機)涵蓋:RoboDojo,一個雙臂操作基準測試;RoboUse,包含 LIBERO、RoboCasa、Meta-World、robosuite 與 ManiSkill 的精選任務,加上 MuJoCo Menagerie 與 Genesis 轉接層;RoboLab,在 Isaac Lab 中的單臂 DROID 任務;以及 RoboTwin 2.0、CALVIN 等較新的整合,另有針對輪式移動操作機器人、人形機器人與四足機器人的實驗性 Hybrid 整合。它也能驅動一台實體機器人 ARX ONE:兩支 ARX X5 手臂與三台 RealSense D405 攝影機。0.2.0 版變更了各元件之間的協定(環境協定 4、工具 schema 8、actor HTTP v3),因此代理端與環境服務、actor 服務必須一起升級,原生環境用的 runtime 套件必須裝在與主套件不同的 Python 環境中。預設情況下,它以論文中的真實情境設定執行,不會把模擬器的深度資訊或任務驗證器的回饋提供給代理。

在論文中,開放權重的 Qwen3.8-Flash-Next 透過這個框架以零樣本方式達到 31.39 的 RoboDojo Score,相較之下同一模型在先前的 RoboProbe 框架下只有 1.90,而已發表的 GPT-6 Astra–RoboProbe 結果為 28.97。在 19 項實體機器人任務上,它得到 53.50 分,相較之下以每項任務 10 小時資料微調的 π₀.₅ 為 47.75,零樣本的 Dream-1 為 43.50;作者指出,他們的代理使用了 D405 感測器的深度資訊,而兩個基準模型都只使用 RGB。

為何重要

以 GPT-6 Astra 等前沿模型打造的機器人使用代理已經證明,搭配好工具的通用模型能以零樣本方式操作物體,但封閉的權重意味著研究人員無法訓練這些模型讓它們做得更好。uni-robot-agent 顯示,只要執行框架提供可靠的工具與有資訊量的回饋,開放權重模型就已經能取得具競爭力的結果;它也以跨環境統一的格式記錄每個回合,而這正是訓練開放機器人使用代理所需要的。作者針對不同模型世代、系列與規模的分析,將成功與四種能力連結起來:視覺理解、空間定位、幾何程式設計與具身推理,為訓練工作提供了具體目標。它以附有文件、可安裝的套件形式發布,而不只是論文程式碼(GitHub)。

解決的問題

機器人使用代理的研究一直依賴透過付費 API 使用的專有模型、綁定單一模擬器的執行框架,以及把模擬器特權資訊交給代理的配置。uni-robot-agent 提供一個跨環境共用工具的開放執行框架,可透過任何相容 Responses 的端點執行開放權重或託管模型,讓代理只能取得真實機器人會有的資訊,並保存可重複用於訓練的互動紀錄。

重點

  • 跨模擬器提供一套用於感知、運動、技能與回合控制的工具介面,並為各環境的原生 API 提供轉接層
  • 透過 Codex 或 Claude Code 執行環境或 Python SDK 執行代理,可搭配任何相容 Responses 的模型端點
  • Direct 模式透過工具驅動機器人;Hybrid 模式則加入 π₀.₅ 等動作模型
  • 從 RoboDojo、RoboUse、RoboLab 到 RoboTwin 2.0、CALVIN 的模擬整合,並自 0.2.0 版起支援 ARX ONE 實體機器人
  • 論文結果:開放權重的 Qwen3.8-Flash-Next 在 RoboDojo 上以零樣本方式得到 31.39 分,高於已發表的 GPT-6 Astra–RoboProbe 結果 28.97

適用對象

  • 訓練或評估開放權重模型作為機器人使用代理的研究人員
  • 在相同任務上比較語言模型代理與 VLA 策略的機器人學習團隊
  • 想透過有文件的 Python SDK,以 LLM 驅動模擬機器人的開發者
  • 在共用工具介面後方加入新環境的基準測試建構者

限制

  • 論文 19 項真實世界任務中與 ARX ONE 一同使用的 Franka,其支援仍被列為即將推出;ARX ONE 的支援已在 0.2.0 版加入
  • 模擬器需要受支援的 Linux GPU 主機,而基本套件不會安裝任何模擬器或動作模型檢查點
  • 結果取決於你連接的模型;代理需要一個位於相容 Responses 端點後方、具備視覺能力的模型,若使用託管模型,就代表每次呼叫都有費用
  • 仍處於早期(0.2.0,2026 年 11 月),而且 0.2.0 已經變更協定:用戶端與服務必須一起升級,舊版服務不相容
  • 真實世界的比較並非同條件比較:代理使用了感測器深度資訊,而 π₀.₅ 與 Dream-1 基準模型只使用 RGB

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。