Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Grounded Action Model (GAM)

把任務物體看成 3D 方框、而不是看整張影像的操作策略

授權條款

MIT

MIT 涵蓋 GAM 自己的程式碼。例外:SAM 3 與 WildDet3D 的程式碼及所有釋出的權重採用 SAM License(Meta),禁止軍事、武器、核子、間諜活動或受貿易管制的用途。CoTracker(點追蹤):CC BY-NC 4.0,非商業。LingBot-Depth:Apache-2.0。查核日期:2026-10-14。

概述

Grounded Action Model(GAM)是 Northwestern University、University of Washington 與 National University of Singapore 推出的操作策略,它在預測任何動作之前,會先確定任務涉及哪些物體,以及它們在 3D 空間中的位置(arXiv 2609.23863)。文字指令、點選的一個點或一個 2D 方框,會先選出任務涉及的物體。接著,凍結的 3D 偵測器(以 SAM 3 為骨幹的 WildDet3D)為每個物體提供一個公制 3D 方框、一份點雲,以及它自己的影像特徵。flow-matching Transformer 根據這些物體、機器人算繪出的輪廓與其本體感知來預測動作區塊,因此策略推理的對象是少數真正重要的東西,而不是整張畫面。儲存庫在 LIBERO-PRO 與 RoboTwin 2.0 上訓練與評估它,也能只憑任務字串在任何 LeRobot 資料集上訓練。檢查點與訓練快取放在 Hugging Face 上。GAM 自己的程式碼採用 MIT;它所依賴的偵測器則不是。

GAM 是針對一種操作策略的訓練與評估程式碼庫,並附有能重現其基準測試數字的檢查點。每一筆觀測都經過同一條路徑。提示指定任務物體:來自任務字串的物體名稱、在整個回合中被追蹤的一個點,或一個方框。凍結的 WildDet3D 偵測器為每個物體回傳一個 2D 方框、一個公制 3D 方框、一份點雲,以及其遮罩內的影像特徵。策略是一個 flow-matching Transformer,它讀取這些物體槽位,以及機器人的關節歷史與由其 URDF 算繪出的輪廓,輸出一個關節目標區塊。

訓練有三種方式。你可以先對每一幀執行一次偵測器並儲存輸出,之後訓練只需要一張 24 GB GPU。你可以從釋出的快取開始,每個 RoboTwin 任務 1 到 6 GB,LIBERO-PRO 為 11 GB。或者你可以把偵測器放在迴圈中進行端到端訓練,這樣不需要儲存任何東西,但每個樣本都要多跑一次偵測器。評估腳本可重現兩份基準測試表格,而通用執行器能以錄製的回合,或透過一個小型轉接類別以你自己的環境,來評估任何檢查點。

若要用在你自己的機器人上,LeRobot 路線不需要任何標註:任務字串會被轉成物體詞組,在第一幀找出物體並以 CoTracker 追蹤,再用這些軌跡來提示偵測器。兩個範本分別涵蓋雙臂 14 關節配置與單臂 Franka。必須進行相機校正,因為這個方法會把 3D 幾何與機器人的輪廓投影到影像中,而 LeRobot 資料集並不儲存校正資料。

已釋出的內容:MIT 程式碼、通用偵測器與讀取任務字串的 span head、LIBERO-PRO 策略及其調校過的偵測器,以及 RoboTwin 檢查點,README 表示這些仍在逐一任務釋出中。未釋出的內容:論文中在雙臂 YAM 與 Franka 上進行真實機器人實驗的策略,以及除了你自己撰寫的轉接層之外,任何真實硬體的驅動程式。論文報告在 50 個 RoboTwin 2.0 任務上平均成功率 55.3%,在 16 種 LIBERO-PRO 擾動設定上為 61%,而在視覺變化下的 YAM 上成功 20 次中的 17 次,π0.5 基準模型只成功 4 次。

為何重要

多數操作策略,包括視覺語言動作(VLA)模型,都會接收整張攝影機影像,並必須從示範中學習哪些物體重要、它們在哪裡。而這正是場景改變時會出問題的地方:新的桌布、不同的光線、額外的雜物,或目標被移到新的位置。GAM 把這項工作交給預訓練的 3D 偵測器,只用它所指定的物體來訓練策略,因此策略需要記住的東西更少。證據在於變化後的設定,而不是乾淨的設定:在場景隨機化與視覺變化下,它的成功率遠比基準模型穩定。由於物體除了用文字之外,也可以用點選或方框來選擇,它也能作為規劃器下層的低階控制器,由規劃器挑選目標,讓同一個策略執行每一個子任務。

解決的問題

以模仿學習訓練出的操作策略,往往會過度擬合訓練時的場景,因為沒有任何東西告訴它們哪些像素屬於任務。當背景、光線或物體改變、目標移動,或指令指定同一場景中的另一個物體時,它們就會失敗。GAM 的做法是,提供給策略的不是原始影像,而是由凍結的開放詞彙 3D 偵測器產生、只描述任務物體的以物體為中心的公制描述。

重點

  • 策略從不看整張影像:凍結的 3D 偵測器把每個任務物體轉成 3D 方框、點雲與遮罩內的影像特徵,再由 flow-matching Transformer 根據這些資訊預測動作
  • 物體可以用文字、點選的一個點或 2D 方框指定,因此人或上層規劃器可以引導同一個策略要操作哪個物體
  • 只要相機已校正,就能只憑任務字串在任何 LeRobot 資料集上訓練,不需要手動標註
  • 預先計算偵測器輸出,可讓訓練在一張 24 GB GPU 上執行;端到端訓練則把偵測器留在迴圈中,不儲存任何東西
  • 論文報告在 50 個 RoboTwin 2.0 任務上為 55.3%,在 16 種 LIBERO-PRO 設定上為 61%,最大的進步出現在場景隨機化或目標被移動的情況
  • GAM 的程式碼採用 MIT,但 WildDet3D 偵測器與所有釋出的權重都採用 Meta 的 SAM License,而 CoTracker 相依套件僅限非商業使用

適用對象

  • 研究操作策略如何泛化的研究人員
  • 擁有 LeRobot 資料集、想要能容忍場景變化之策略的團隊
  • 建構「規劃器加控制器」系統、需要可用點或方框引導之策略的研究人員
  • 任何在 LIBERO-PRO 或 RoboTwin 2.0 上進行基準測試的人

限制

  • 偵測器與每一個釋出的權重都採用 SAM License,而不是開源授權,用於點追蹤的 CoTracker 則採用 CC BY-NC 4.0,因此商業使用需要先確認
  • 論文中真實機器人實驗(雙臂 YAM 與 Franka)的策略並未釋出,RoboTwin 檢查點也仍在逐一任務陸續釋出
  • 沒有真實硬體的驅動程式:要在機器人上執行,必須自己撰寫環境轉接層並進行手眼校正
  • 通用偵測器並未針對任何場景調校,在新的機器人、相機或物體組合上可能需要微調;256 x 256 等低解析度錄製會遺失小物體
  • 需要 Linux、CUDA 12.6 或更新版本以及 GPU;光是完整的偵測器檢查點就有 4.7 GB
  • 儲存庫很新:2026 年 9 月下旬才公開,基本上只有一位維護者

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。