Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Transformer Transformer

為一段動作生成機器人、再控制它的擴散模型

授權條款

MIT

GitHub 回報此儲存庫沒有可辨識的授權(NOASSERTION),因為 LICENSE 檔案是 MIT 條文,後面附加了例外條款。查核日期:2026-09-10:除了檔案中明確列出的四項例外,儲存庫採用 MIT。t2/model/core.py(衍生自 Meta 的 DiT)以及 t2/model/utils.py 中的位置嵌入輔助函式(衍生自 Meta 的 MAE)仍適用其原專案的 Attribution-NonCommercial 授權,因此這些檔案不得用於商業用途。t2/mjx_env/ 採用 Apache-2.0,沿用自 Brax 與 MuJoCo Playground,而 t2/train/augment.py 中的旋轉輔助函式則是來自 PyTorch3D 的 BSD-3-Clause。assets/mjcf/ 下的機器人資產各自保有其目錄中的 LICENSE 檔案。

概述

Transformer Transformer 接收一段目標末端執行器動作與使用者定義的獎勵,為其生成一台完整的機器人,包括每一根連桿、每一個關節、每一顆馬達與所有慣性屬性,接著控制同一台機器人去追蹤該動作。它在 RoboToken 上運作,這是一種針對機器人形態、狀態與動作的型別化 token 表示法,同一個分詞器既能為 6 自由度手臂、也能為 35 自由度雙足機器人產生 token,因此單一網路就能同時擔任生成器、評論器與跨形態控制器。儲存庫是論文背後的完整堆疊:RoboToken 分詞器、在參數化設計空間上的程序化機器人生成、以 Mink 與強化學習控制器進行的資料生成、控制與協同設計兩者的訓練與推論、CMA-ES 基準方法,以及論文視覺化所用的 Blender 流程。

此模型是以 DiT 打造、採用 DDIM 雜訊排程的擴散 Transformer,以 RoboToken 序列訓練。雜訊會加到除了作為條件的 token 以外的每一個 token 上,而改變遮罩就改變了任務:遮住全部即為無條件機器人生成器,遮住動作即為跨形態控制器,遮住形態即為以動作為條件的設計器。由於同一個網路同時預測設計及其動力學,這些預測可以送入使用者寫下的任何獎勵函數;獎勵對形態 token 可微分,因此其梯度會被注入回去噪步驟中。作者稱之為 Dynamics Self-Guidance,正是它讓未見過的獎勵可以在推論時最佳化,而不必為此重新訓練。

發布的內容不只是模型。十組預訓練執行涵蓋三個設計空間:ViperX 運動學空間、一款搭載機器手臂的四足機器人,以及一個圍繞洗碗打造的輪式雙臂空間;它們與動作軌跡資料和一個 SHA256SUMS 檔案一同託管於 real.stanford.edu,每個執行目錄都將其訓練設定與權重放在一起。安裝以 uv 在 Python 3.12 上進行,安裝檢查會在下載任何東西之前,先在 CPU 上讓數百台隨機生成的機器人與 MuJoCo Menagerie 模型往返經過分詞器。實務上它需要 Ubuntu 與較新的 NVIDIA 驅動程式;macOS 會解析出僅支援 CPU 的 wheel,足以通過冒煙測試,但僅止於此。

為何重要

機器人協同設計過去大多是一個演化搜尋問題:提出一個身體,放進模擬器中推演,保留得分高的,每個獎勵函數都要重複數小時。把它定義為條件式生成,可以將這個過程壓縮到幾秒鐘,並讓新的獎勵成為推論時的參數,而不是一次全新的最佳化執行。這次發布與這個想法同樣重要:權重、資料與實際製作的結果全部公開,因此「生成的身體勝過人工設計的身體」這項主張可以查核,而不只是宣稱。

解決的問題

策略的好壞受限於它所執行的身體,而選擇這個身體向來意味著人工反覆修改,或是每遇到新獎勵就需要數小時模擬的黑箱搜尋。Transformer Transformer 讓身體成為可以從想要的動作生成出來的東西,再以產生它的同一個網路驗證設計。

重點

  • RoboToken 將任何剛性關節式機器人轉換為 28–101 個型別化 token,比等效的 MJCF 文字精簡 27–110 倍,這正是讓擴散生成整台機器人變得可行的原因
  • 單一網路透過改變被遮住的 token 身兼三職:無條件機器人生成器、跨形態控制器,以及以動作為條件的設計器
  • Dynamics Self-Guidance 透過使用者提供的獎勵,對模型自身的動力學預測進行微分,因此訓練中從未見過的獎勵也能在推論時最佳化
  • 三個設計空間共十組預訓練執行,各附產生它的訓練設定,另有動作軌跡資料與檢查碼
  • 為甩布任務生成的 ALOHA 2 重新設計已實際製作,與原始手臂相比,追蹤誤差降低 73%,峰值關節速度降低 30%
  • 在多軌跡雙臂最佳化上,CMA-ES 基準方法耗時超過三小時;此模型在不到一分鐘內就達到相當的獎勵

適用對象

  • 機器人協同設計與形態最佳化研究人員
  • 跨形態控制與擴散策略研究人員
  • 建立程序化機器人設計空間的 MuJoCo 與 MJX 使用者
  • 在投入製作之前評估手臂幾何與安裝方式的硬體團隊

限制

  • RoboToken 只涵蓋以基本形狀構成的幾何:不支援任意網格或可變形物體,也沒有任何部分編碼周遭場景或接觸目標
  • 在擴散生成的形態上,跨形態控制器與強化學習 oracle 的相關性為 Pearson r = 0.53,因此生成的設計仍需在模擬中驗證
  • 測試階段運算在約一分鐘的取樣後就不再有回報;更多推論並不會持續改善設計
  • 生成全身控制器訓練資料的成本很高:每個離散設計選擇需要一個強化學習專家,每個策略約需 16 小時的 A100 時間
  • 並非全部採用 MIT:衍生自 DiT 的骨幹檔案與衍生自 MAE 的位置嵌入輔助函式仍採用 Attribution-NonCommercial 條款,因此這些檔案不得用於商業用途
  • 實務上需要 Linux 與較新的 NVIDIA 驅動程式;在 macOS 上,uv 會解析出僅支援 CPU 的 wheel,可以執行分詞器冒煙測試,但無法進行評估或訓練
  • 除非明確設定 WANDB_MODE=offline,否則每支腳本都會記錄到 Weights & Biases

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。