Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RoboSimStudio

用於機器人操作的多物理 Real2Sim 工具組,可手動或由程式代理調整

授權條款

Apache-2.0

概述

UC Berkeley AUTOLAB 與 NVIDIA 推出的開源模擬工具組,用於機器人操作的 Real2Sim。它以 Newton 物理引擎打造,讓每個物件的求解器、接觸模型與材料參數都保持明確且可編輯,因此人可以在瀏覽器工作室中、程式代理也可以自行調整模擬,直到它與真實任務的影片相符。

RoboSimStudio 將機器人、物件與物理組合成單一模擬,並讓建模選擇保持可見:每類物件由哪個求解器建模、求解器之間如何耦合、接觸模型以及材料參數。預設情況下,關節式機器人與剛體在 Newton 內的 MuJoCo Warp 上執行,纜線與布料使用 Vertex Block Descent,軟性物體則交由 SuperDex 等外部引擎,透過交換接觸力進行協同模擬。共通的機器人介面涵蓋 Franka Panda、UR5e 以及單臂與雙臂 YAM 手臂,並透過 PyRoKi 進行逆向運動學、透過 cuRobo 進行具碰撞感知的規劃。

使用者在以 Viser 打造的瀏覽器工作室中操作:物件可以拖曳與檢查,剛性與阻尼等參數可在模擬執行時變更。程式代理則透過文字獲得相同的循環:每次推演被拆分為動作基元,模擬器會回報目標誤差、物件運動、接觸事件、抓取或滑脫,以及任務進度。此工具組也支援搭配低成本 GELLO 主控手臂的力回饋遠端操作,讓操作者能感受到模擬中的接觸。它在 Linux x86-64 上執行,有無 NVIDIA GPU 皆可。

為何重要

接觸密集操作很難忠實模擬,而調整模擬器使其符合現實通常是緩慢的反覆試錯。RoboSimStudio 將這種調整轉變為人與 AI 程式代理都能使用的互動式循環。在作者的先導研究中,程式代理根據一段智慧型手機影片,在約一小時內建立了雙臂海綿擦拭任務的多物理模擬(其中一次用了 56 分鐘);一個 Graph-as-Policy 控制器在該模擬中經過 14 次迭代,模擬擦拭面積從 0% 提升到 100%,隨後在真實機器人上執行。

解決的問題

機器人操作涉及接觸力學、耦合動力學、變形、剛性與摩擦,沒有任何單一物理模型能完全涵蓋,而模擬器通常把這些選擇藏在程式碼裡。RoboSimStudio 讓求解器、接觸模型與參數成為場景中的明確項目,因此不必改寫任務,就能變更它們並與真實行為比較。

重點

  • 在同一場景中耦合多個物理求解器:MuJoCo Warp 處理機器人與剛體,Vertex Block Descent 處理纜線與布料,外部引擎處理軟性物體
  • 供人使用的瀏覽器工作室與供程式代理使用的文字回饋循環,作用於同一個場景
  • 作者用它建立了 18 項接觸密集操作任務,從 USB-C 插入到布料與海綿處理
  • 搭配 GELLO 主控手臂的力回饋遠端操作,讓操作者能感受到模擬中的接觸
  • 可在僅有 CPU 的 Linux 機器上執行;部分材料需要 NVIDIA GPU

適用對象

  • 建立接觸密集操作任務模擬的機器人學習研究人員
  • 在真實手臂上執行策略之前先於模擬中測試的團隊
  • 使用程式代理從影片建立與調整模擬的開發者

限制

  • 系統很新:於 2026 年 10 月 14 日發布,模擬到現實(Sim2Real)轉移只在單一任務上評估,且主要以目視判斷
  • 代理建立的模擬受限於工具組提供的材料模型、物理耦合與機器人資產
  • 與外部物理引擎的協同模擬會增加運算負擔
  • 僅在 Linux x86-64 上開發與測試;未在 macOS 與 Windows 上測試
  • 沒有 NVIDIA GPU 時,無法模擬紙張、膠帶、刷子、顆粒材料、液體、麵團與水

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。