USD
- 又稱: Universal Scene Description, OpenUSD, Pixar USD
- 類別: Software & tooling › Tools & formats
- 標籤: robot-description, simulation, file-format
由 Pixar 開發的開放場景描述格式,Isaac Sim 等模擬器用它以分層檔案的形式描述機器人、環境及其物理屬性。
定義
通用場景描述(USD)是一個用來描述三維場景的開放框架,最初由 Pixar 為電影製作而開發,並於 2016 年開源。USD 舞台(stage)是由 prim 組成的階層結構,每個 prim 都帶有具型別的屬性,並且可以由許多檔案組合而成:子圖層(sublayer)把修改逐層疊加,參照(reference)與酬載(payload)引入其他資產,變體集(variant set)則在不同方案之間切換,例如同一支機械手臂上的兩種夾爪。檔案有三種形式:可讀的文字格式(.usda)、精簡的二進位格式(.usdc)以及壓縮封裝格式(.usdz)。
機器人領域之所以採用 USD,是因為用於機器人學習的模擬需要完整的世界,而不只是單一機器人。NVIDIA 以 USD 為基礎打造了 Isaac Sim 與 Omniverse,因此機器人、它的感測器、它工作的倉庫以及它要處理的物品,都存在於同一個舞台中。UsdPhysics 綱要(schema)加入了剛體、碰撞形狀、質量屬性、關節與關節體(articulation),正是這些讓一個算繪模型變成物理引擎可以逐步計算的對象。以 URDF 或 MJCF 描述的機器人,通常是在匯入時轉換為 USD,而不是直接用 USD 手寫。
在實務上,最重要的是它的組合機制。多個人可以同時處理同一個場景而不會互相覆蓋,而隨機化的訓練場景只需替換一個圖層,就能更換材質、光線或物體擺放,不必複製檔案。代價是複雜度:USD 遠比 URDF 龐大,針對機器人的慣例仍在逐步確立,而且同一台機器人可能會因寫入檔案的工具不同而呈現差異。
由 Pixar、Adobe、Apple、Autodesk 與 NVIDIA 於 2023 年成立的 OpenUSD 聯盟(Alliance for OpenUSD),目前負責推動它的標準化。其程式碼以 Tomorrow Open Source Technology License 發布,該授權即 Apache License 2.0,只是商標條款有所不同。
為何重要
越來越多的機器人模擬用 USD 來描述機器人所處的世界,而不只是機器人本身。它之所以重要,是因為大規模的機器人學習仰賴大量多樣的場景,而 USD 的圖層機制讓團隊可以建立一個環境、以程式方式加以變化,並在不複製檔案的情況下分享它。任何把機器人匯入 Isaac Sim、或使用可直接用於模擬的資產庫的人都會接觸到它,通常是在把 URDF 或 MJCF 模型轉換成 USD 之後。
主要應用
- 在 Isaac Sim 與 Omniverse 中描述機器人、感測器與環境
- 建立可供許多專案重複使用、可直接用於模擬的資產庫
- 為合成資料與機器人學習隨機化場景,不必複製檔案
- 結合 CAD、機器人與場地配置的工廠與倉庫數位孿生
- 在 CAD、算繪與模擬工具之間交換三維場景
實際應用
大多數機器人團隊並不手寫 USD。他們從 CAD 匯出機器人,或用模擬器的匯入工具轉換既有的 URDF 或 MJCF 檔案,然後檢查結果:關節軸、關節限制、碰撞形狀與質量屬性是轉換時最常出錯的地方。環境由被參照的資產組裝而成,訓練用的各種變化則以獨立圖層套用,讓基礎場景保持不變。文字格式的 .usda 檔案方便閱讀與比對差異,二進位的 .usdc 檔案則適合任何大型內容。
常見誤解
- USD 取代了 URDF:實際上,大多數機器人最初仍以 URDF 與 MJCF 描述,USD 往往是為了模擬而轉換成的格式
- 一個 USD 檔案就是單一檔案:舞台通常由許多圖層與被參照的資產組合而成,只搬動其中一個檔案而不帶上其他檔案會讓它損壞
- 把機器人轉換為 USD 會自動保留其物理屬性:匯入後往往需要檢查關節限制、驅動、碰撞形狀與慣性參數
- USD 是 NVIDIA 的格式:它由 Pixar 創造,目前由 OpenUSD 聯盟負責標準化
誰需要了解
- 任何要把機器人匯入 Isaac Sim 或其他以 USD 為基礎的模擬器的人
- 建立模擬環境或數位孿生的工程師
- 利用隨機化場景產生合成訓練資料的研究人員
- 在 URDF、MJCF 與 USD 之間轉換機器人模型的開發者
相關技術
- URDF
- MJCF
- NVIDIA Isaac Sim
- NVIDIA Omniverse
- UsdPhysics 綱要
- glTF
- SimReady 資產
相關術語
相關專案
- GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- text-to-cad: Lets AI coding agents design parts in Python CAD and export robots to MuJoCo
- SolidCraft: Open-source parametric 3D CAD in Rust that exports robot assemblies to URDF
- PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
- Newton: Open GPU physics engine for robot learning, with Kamino for closed-loop linkages
影片
- Five Things to Know About USD | NVIDIA Omniverse Tutorials: NVIDIA
- Import Your Robots From URDF to USD - Isaac Sim Tutorial: LycheeAI