Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

ASPIRE

由程式設計代理撰寫、除錯機器人程式,並將其保存為技能庫的迴圈

授權條款

Apache 2.0

分開授權。ASPIRE 自己的程式碼:Apache-2.0。以 Git 子模組或下載方式取得的相依套件保留其各自的條款:Contact-GraspNet(PyTorch 移植版)採用 NVIDIA 的 Source Code License,僅限非商業研究與評估;SAM 3 程式碼與設有存取限制的權重採用 Meta 的 SAM License;BEHAVIOR-1K 資料套件採用非商業的學術 EULA。LIBERO-PRO、robosuite 與 PyRoki 採用 MIT,cuRobo 採用 Apache-2.0。除非使用開放權重模型,執行時還需要一個付費程式設計模型 API 的帳號。查核日期:2026-10-23。

概述

ASPIRE(Agentic Skill Programming through Iterative Robot Exploration)是 NVIDIA GEAR 實驗室推出的系統:由程式設計代理(例如 Claude Code 或 Codex)來為機器人編寫程式,取代訓練出來的策略。它建立在 code-as-policies 的概念上:代理針對固定的機器人 API 撰寫 Python,執行程式,讀回關於執行過程的詳細追蹤紀錄,修正程式後再試一次。驗證器能重現的修正會儲存為可重複使用的技能,因此技能庫會隨著一個又一個任務成長。儲存庫採用 Apache-2.0 授權,包含執行框架、驅動這個迴圈的代理技能,以及論文中每項實驗的操作手冊。它已在模擬環境中的 LIBERO-Pro、robosuite 與 BEHAVIOR-1K 上測試,並在真實世界中的雙臂 I2RT YAM 工作站上測試,代理在那裡解開了魔術方塊。1.0 版於 2026 年 10 月推出。它沒有模型權重:「訓練好的模型」就是那個技能資料夾。

每次執行都是程式設計代理與機器人之間的迴圈。代理會收到一項任務,以及一套由感知、規劃與控制基本元件組成的機器人程式設計 API:以 SAM 3 進行分割、由 Contact-GraspNet 提出抓取候選、以 PyRoki 進行逆向運動學,並以 cuRobo 進行運動規劃。代理撰寫一段簡短的 Python 程式,由執行引擎在模擬器或機器人上執行,同時記錄多模態追蹤紀錄:影像、物體姿態、接觸,以及每次呼叫的結果。代理讀取這些追蹤紀錄,找出執行失敗的原因,修改程式後再執行一次。

有兩個機制讓這些工作能夠累積。技能庫儲存驗證器已在原始任務上重現的修正,以代理日後可擷取的文字與程式碼寫成,因此在一個任務上學到的修正能幫助下一個任務。演化搜尋則平行執行許多程式變體並逐一除錯,能找到單一修正路線會錯過的策略。論文顯示,在 LIBERO-90 上學到的技能可轉移到未見過的長時程任務,而在模擬環境中於 Franka 手臂上找到的技能,也能減少在真實世界中為另一台機器人編寫程式的工作量。

儲存庫將這個迴圈封裝為 Claude Code 與 Codex 的代理技能(iterative-debugging 與 evosearch),並提供用於執行與驗證回合的命令列框架(cap-harness)。模擬後端是在 MuJoCo 上的 LIBERO-Pro 與 robosuite,以及透過 OmniGibson 在 Isaac Sim 上的 BEHAVIOR-1K。真實機器人轉接層透過 CAN 驅動兩支六關節 YAM 手臂,並附有工作站設定、相機校正與操作人員手冊。從示範工作階段提煉出的做法涵蓋魔術方塊、旋開瓶蓋並倒水、把藥丸放進瓶子並蓋上,以及疊杯子。

結果取決於驅動代理的模型。在十個加入位置擾動的 LIBERO-Pro Goal 任務上,成功率從 GPT-6 Luna 的 15% 提升到 Claude Opus 5.5 與 Sonnet 5.5 的 99%。測試中最好的開放權重模型 Kimi K3 達到 78%。使用 Claude Opus 5.5 時,論文報告在全部 80 個 LIBERO-Pro 任務上平均成功率 99%,在具代表性的 robosuite 與 BEHAVIOR-1K 任務上則為 100%。

為何重要

近來多數機器人學習專案改進機器人的方式,是用更多示範來訓練神經網路。ASPIRE 展示了一條如今已經可行的不同路線:讓強大的程式設計模型撰寫控制器,根據機器人實際的行為來除錯,並把有效的做法保存為可讀的程式碼。這樣的結果可以被檢視、編輯,並在不同任務與機器人之間重複使用,而策略的權重做不到這一點。由於整個框架都是開放的,包括操作手冊與代理技能,實驗室可以重現基準測試數字,或把同一個迴圈用在自己的任務上,看看自己選擇的模型能走多遠。

解決的問題

手動為機器人編寫程式,意味著每遇到新的任務與配置,都要協調感知、接觸與失敗後的恢復,而這些工作很少能沿用到下一個任務。ASPIRE 讓程式設計代理有能力自己完成這些工作:一套機器人 API、可用來除錯的豐富執行追蹤紀錄、對程式變體的搜尋,以及一個保存已驗證修正的技能庫,讓後來的任務能從先前任務學到的東西出發。

重點

  • 程式設計代理(Claude Code 或 Codex)針對機器人 API 撰寫 Python,執行程式,讀取執行追蹤紀錄並修正程式
  • 經過驗證的修正會保存為可重複使用的技能庫;演化搜尋則平行探索許多程式變體
  • 使用 Claude Opus 5.5 時,論文報告在全部 80 個 LIBERO-Pro 任務上平均成功率 99%,在具代表性的 robosuite 與 BEHAVIOR-1K 任務上為 100%
  • 在真實的雙臂 YAM 工作站上,代理解開了魔術方塊;在模擬環境中找到的技能,減少了為另一台真實機器人編寫程式的工作量
  • 成功率取決於模型:在測試的十二個模型之間從 15% 到 99%,最好的開放權重模型(Kimi K3)為 78%
  • ASPIRE 自己的程式碼採用 Apache-2.0,但完整堆疊中的部分元件,包括 Contact-GraspNet、SAM 3 與 BEHAVIOR-1K 資產,各有其限制性條款

適用對象

  • 研究以 LLM 代理編寫機器人程式、code-as-policies 與持續學習的研究人員
  • 想在 LIBERO-Pro、robosuite 或 BEHAVIOR-1K 上重現或延伸結果的實驗室
  • 擁有 YAM 雙臂工作站,或其他能包裝進機器人 API 的手臂,並希望由代理為新任務編寫程式的團隊
  • 任何想比較不同前沿模型與開放權重模型作為機器人程式設計者表現如何的人

限制

  • 需要一個能力足夠的程式設計模型及其 API。在論文的十任務 LIBERO-Pro 基準測試中,以定價估算的每項任務 API 成本從 $0.83(GPT-6 Luna,成功率 15%)到約 $60(Claude Opus 5.5)不等;成功率超過 95% 的模型中最便宜的是 Claude Sonnet 5.5,每項任務約 $12
  • 需在配備 NVIDIA GPU 的 Linux x86-64 上執行;參考硬體配置為 RTX 4090、RTX 5090 與 L40,BEHAVIOR-1K 另外需要 Isaac Sim、32 GB 記憶體與約 50 GB 的磁碟空間
  • SAM 3 權重在 Hugging Face 上設有存取限制,需要獲准的存取申請與權杖
  • 有幾個相依套件不屬於 OSI 定義的開源:Contact-GraspNet 採用 NVIDIA 的非商業授權,SAM 3 採用 Meta 的 SAM 授權,BEHAVIOR-1K 資產套件則採用非商業的學術 EULA
  • 產生的程式以完整的 Python 匯入權限執行;專案警告這不是沙箱,要求使用沒有任何憑證的隔離主機,並且絕不能讓模擬用的代理存取真實硬體
  • 代理只能使用機器人 API 提供的基本元件;需要新感測或控制能力的任務,必須先由人來擴充 API

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。