Newton
為機器人學習打造的開源 GPU 物理引擎,以 Kamino 模擬閉迴路連桿機構
授權條款
- code: Apache 2.0
- documentation: CC BY 4.0
程式碼:Apache-2.0,依 newton-physics/newton 中的 LICENSE.md 與 PyPI 套件中繼資料。文件:CC BY 4.0,見 README 說明。機器人模型與場景需另外從 newton-assets 儲存庫下載,並保有各自的授權,多為 Apache-2.0、BSD 或 MIT;兩個 Kamino 範例使用的 Disney Research DR Legs 與測試機構資產,只能用於研究或軟體開發。已於 2026-11-08 對照 LICENSE.md、README、PyPI 與各資產的授權檔案核對。
概述
Newton 是在 GPU 上執行的開源物理引擎,供機器人與模擬研究使用。它由 Disney Research、Google DeepMind 與 NVIDIA 發起,現在是 Linux 基金會的專案;它建立在 NVIDIA Warp 之上,並以 MuJoCo Warp 作為主要的剛體後端。透過同一套 Python API 就能使用多種求解器,涵蓋剛性機器人、布料、纜線、軟體物件與顆粒材料,機器人則可從 URDF、MJCF 或 OpenUSD 檔案載入。Isaac Lab 可以把 Newton 當作強化學習的物理後端。其中的 Kamino 求解器出自 Disney Research,發表於 CoRL 2026,能直接在 GPU 上模擬具有封閉運動學迴路的機器人,例如並聯腿與四連桿機構,不必把它們近似成樹狀結構。Newton 採 Apache-2.0 授權,可從 PyPI 安裝。
Newton 是為機器人研究人員與模擬研究人員打造的 GPU 物理引擎。它由 Disney Research、Google DeepMind 與 NVIDIA 發起,2025 年捐贈給 Linux 基金會,目前在開放治理模式下維護。Newton 以 Python 撰寫,建立在 NVIDIA Warp 之上(Warp 能把 Python 核心程式編譯成在 GPU 上執行),並由 Warp 較早的模擬模組演變而來。它的主要剛體後端是 MuJoCo Warp,也就是 Google DeepMind 與 NVIDIA 共同開發的 MuJoCo GPU 版本。
它的構想是:一個模型、一個模擬迴圈,搭配可以互相替換的求解器。機器人可以用 Python 建構,也可以從 URDF、MJCF 或 OpenUSD 檔案匯入;同一個模型可以交由 MuJoCo 求解器推進,也可以使用適合多體系統的 Featherstone、XPBD 或半隱式求解器、適合布料、纜線與軟體物件的 VBD、適合沙、雪等顆粒材料的隱式 MPM 求解器、適合衣物的 Style3D,或是 Kamino。多個求解器可以在同一個場景中耦合,部分求解器支援可微分模擬,可做以梯度為基礎的最佳化;引擎還內建碰撞偵測、相機與慣性量測單元 (IMU) 等感測器、逆向運動學,以及能在桌面或瀏覽器中執行的檢視器。它以 pip 安裝,附有一百多個可直接執行的範例,從單擺、會走路的四足機器人,到布料與顆粒流動都有。Isaac Lab 除了 PhysX 之外,也能在 Newton 上執行它的環境,因此為 Isaac Lab 撰寫的強化學習任務可以使用 Newton 的求解器;採用它的社群專案包括 RoboSimStudio。
Kamino:在 GPU 上模擬封閉運動學迴路
多數用於強化學習的 GPU 模擬器,都假設機器人是一棵運動學樹。但許多真實機構並非如此:並聯腿、膝部與夾爪裡的四連桿,以及並聯式機器手臂,都會形成封閉迴路;一般做法是把每個迴路切開成樹,再補上封閉約束或 mimic 關節,這需要調整參數,也可能改變機器人的行為。Kamino 由蘇黎世的 Disney Research 與 NVIDIA 合作開發,並在一篇 CoRL 2026 論文中發表,它是 Newton 的求解器之一,能照機構原本的樣子進行模擬。每個剛體各自保有自己的姿態,關節、關節極限與有摩擦的接觸,都以近端 ADMM 方法當作硬性約束一併求解;在重置一個回合時,正向運動學求解器會把閉迴路機器人擺到彼此一致的姿態。此外,GPU 上的平行世界可以放入不同的機器人,因此同一個策略可以同時在多種身體外形上訓練。
在論文中,Kamino 為 DR Legs 訓練出行走策略;DR Legs 是一台具有六個巢狀運動學迴路的雙足機器人,訓練時在一張 GPU 上使用 4,096 個平行環境。在答案可用解析方式求得的基本測試中,例如滑動的箱子、彈跳的球與四連桿機構,Kamino 只需少量調整就能符合解析解,而 MuJoCo Warp 與 XPBD 求解器則需要調整參數,或出現穿透、晃動或過早滑動。作者也在 Kamino 中為 Disney 的 BDX 與 Olaf 機器人訓練策略,並表示這些策略成功移轉到實體機器人上(模擬到現實 (Sim-to-Real))。Kamino 的選用方式和 Newton 的其他求解器相同,DR Legs 模型與一個四連桿機構都列在它的範例中,Kamino 指南則說明了它的三種動力學後端。
為何重要
Newton 是 Disney Research、Google DeepMind 與 NVIDIA 在中立治理下公開合作打造的物理層,而不是各自維護一套獨立的引擎。對研究人員來說,這代表一個採 Apache-2.0 授權的 Python 套件:MuJoCo 的 GPU 求解器、布料、纜線與顆粒材料的求解器,以及較新的研究型求解器,全都放在同一個介面之後,Isaac Lab 也能直接在上面訓練,不必完整安裝 Isaac Sim。它和 Genesis(另一款具備多種求解器的 GPU 引擎)以及 mjlab(只在 MuJoCo Warp 上提供 Isaac Lab API)屬於同一類工具。Kamino 加入了對封閉鏈機構的原生支援:在足式機器人與夾爪中很常見的這類機器人,可以直接在 GPU 上用強化學習訓練,不必先改造成樹狀結構。它比較精確,也比較慢,而且仍在實驗階段,因此適合真正需要它的機構,而不是每一台機器人。
解決的問題
GPU 機器人模擬器過去都綁在單一公司的引擎和單一物理方法上,而且多數無法在不做近似與調整參數的情況下模擬封閉運動學迴路。Newton 在 GPU 上把多種求解器放在同一個開放的 Python 介面之後,它的 Kamino 求解器則能以強化學習所需的規模,原生模擬並聯腿、連桿與其他閉迴路機構。
重點
- 以 Python 撰寫的 GPU 物理引擎,建立在 NVIDIA Warp 之上,以 MuJoCo Warp 為主要剛體後端
- 由 Disney Research、Google DeepMind 與 NVIDIA 發起,現由 Linux 基金會託管
- 一個模型、一個迴圈,就能使用多種求解器:MuJoCo、Featherstone、XPBD、VBD、隱式 MPM、Style3D 與 Kamino
- 可從 URDF、MJCF 與 OpenUSD 匯入機器人;部分求解器支援可微分模擬
- Isaac Lab 可以把 Newton 當作強化學習的物理後端
- Kamino(CoRL 2026)在 GPU 上原生模擬封閉運動學迴路與硬性接觸
- 論文中,Kamino 在 4,096 個平行環境裡,為一台具有六個巢狀迴路的雙足機器人訓練出行走策略
- 採 Apache-2.0 授權,可從 PyPI 安裝,附有一百多個可執行範例
適用對象
- 在大規模平行 GPU 模擬中訓練策略的機器人學習研究人員
- 設計足式機器人、夾爪以及其他具並聯連桿或四連桿關節機構的設計者
- 想要求解器選擇更多的 GPU 後端的 Isaac Lab 與 MuJoCo 使用者
- 想把自己的求解器加入共用開放引擎的模擬研究人員
- 需要把布料、纜線、軟體物件或顆粒材料和機器人一起模擬的團隊
限制
- Kamino 標示為實驗性的測試版:文件不建議依賴它,並說明它的 API 與行為可能在未經通知下變更;VBD 同樣是實驗性功能
- Kamino 比 MuJoCo Warp 與 XPBD 求解器慢:論文中在 BDX 機器人上,MuJoCo Warp 每秒處理的樣本數約是它的 25 倍,因此只有在具封閉迴路的機構上才值得使用
- 論文中的機器人只有 DR Legs 公開;BDX、Olaf 與 Iron Man 的模型屬於專有資產,BDX 與 Olaf 上的模擬到現實結果出自作者本身,作者也承認規模有限
- GPU 加速需要 Turing 世代或更新的 NVIDIA GPU,並搭配較新的驅動程式;在 macOS 上只能用 CPU 執行
- Kamino 論文中的 GPU 求解器使用 32 位元浮點數,而在 CPU 上執行的 MuJoCo 使用 64 位元
- 年輕且發展快速的專案:1.0 版於 2026 年推出,次要版本大約每月發布一次,變更記錄也經常把部分 API 標為已棄用
- 機器人模型需另外下載,並保有各自的授權;兩個 Kamino 範例使用的 Disney Research 資產(DR Legs 與一個測試機構)只能用於研究或軟體開發