Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

RoboKit

一次求解數千個機器人 IK、規劃與重定向問題的 GPU 工具組

授權條款

MIT

程式碼:MIT,依 RoboKit、RetargetingKit 與 GraspKit 儲存庫中的 LICENSE。機器人模型與資料集從專案的 Hugging Face 資料集下載,並各自保有其授權:其中數個為 CC BY-NC 或 CC BY-NC-SA(例如 Inspire 機器手模型與 DexYCB),AMASS、ARCTIC、GRAB、MANO 與 SMPL-X 資料附有受限的研究條款。如專案自己的資產授權清單所述,部分模型未列出授權(例如 XHand)。商業使用或再散布之前,請先查看資產授權清單。查核日期:2026-11-07,依據 LICENSE 與資產授權清單。

概述

RoboKit 是 UC San Diego Xiaolong Wang 團隊推出的開源 Python 機器人最佳化工具組,第一作者為 Jianglong Ye。它從 URDF 或 MJCF 載入機器人,在 GPU 上計算批次化且可微分的運動學,並以取樣與梯度最佳化器求解寫成成本項總和的任務,規模從單一問題到數千個平行問題皆可。內建任務涵蓋逆向運動學、無碰撞運動規劃、機器手與人形機器人的動作重定向、手眼校正、抓取合成,以及透過 MuJoCo Warp 的模型預測控制。它是同時發布的兩個配套工具組的基礎:用於遠端操作的 RetargetingKit 與用於靈巧抓取的 GraspKit。1.0.0 版已上架 PyPI,據作者表示,介紹它的論文已獲 CoRL 2026 接受為 spotlight 論文。

RoboKit 把機器人領域中大多數的小型最佳化問題視為同一類問題。機器人從 URDF 或 MJCF 載入為批次化、可微分的運動學;任務是一組成本項,例如姿態目標、碰撞、關節極限與接觸;群體求解器則以 Levenberg-Marquardt、L-BFGS 或梯度下降同時移動許多候選解,或以 MPPI 式與演化策略排程對它們取樣。最佳化指南說明這些部分如何組合。運動學與幾何在 NVIDIA Warp 上執行,PyTorch 為選用,同一份程式碼可執行單一問題或數千個平行問題,有 GPU 時就在 GPU 上執行。

內建任務包括固定或浮動基座的逆向運動學、繞過障礙物的離線與線上運動規劃、可選擇加入物件接觸的機器手、人形機器人與全身動作重定向、根據算圖出的機器人遮罩進行攝影機校正,以及適用於任何機器手的力封閉抓取合成。搭配 MuJoCo Warp 額外套件,它還能透過模擬器進行以取樣為基礎的模型預測控制,範例包括 Sharpa 機器手轉筆、Unitree G1 爬上箱子,以及 Go2 跳躍後落在指定的落腳點上。一條強化學習路徑可訓練策略,例如讓 Franka 組裝 NIST 板件,以及讓 Go1 走樓梯。機器人模型與資料集從專案的 Hugging Face 資料集下載並鎖定在單一版本,涵蓋 Franka Panda 與 xArm 等手臂、十幾款人形機器人,以及許多機器手與夾爪。Viser 中的互動式展示可直接從套件執行,如快速入門所示。

RoboKit 於 2026 年 11 月 6 日作為 OpenRoboKit 的一部分發布,同時推出兩個以它打造的工具組。RetargetingKit 將來自 Apple Vision Pro、PICO、Manus 手套或動作擷取的即時或錄製人類動作對應到機器手、手臂與人形機器人,用於即時遠端操作或批次重定向,目標包括 xArm 手臂以及 Inspire 與 Ability 機器手。GraspKit 執行完整的抓取流程:它在 GPU 上最佳化抓取、算圖點雲、訓練將點雲對應到抓取軌跡的策略,並將其部署在 ManiSkill 或硬體上;其真實機器人預設組合將 xArm6 與 xArm7 手臂搭配 XHand、Sharpa 與 Ability 機器手。團隊的發布貼文展示了以這套配置在聖地牙哥戶外進行的 16 小時抓取運行。第四個儲存庫 RoboSkills 封裝了機器人領域的代理工作流程。團隊在 README 中回報,相較於所比較的工具,實際耗時大幅加快,這些工具包括用於逆向運動學的 PyRoki、用於運動規劃的 cuRobo、用於人形機器人重定向的 GMR,以及比較強化學習策略訓練時間的 mjlab;基準測試細節在論文中,而論文尚未公開。

為何重要

機器人學習流程一再執行同樣的小型最佳化:為重定向動作的每一幀求解逆向運動學、為資料集中的每個物件求解抓取、為每組起點與目標求解規劃。如今這些通常各自需要不同的函式庫,各有自己的機器人載入器,例如用於運動學的 PyRoki 或 mink、用於規劃的 cuRobo,以及另一套重定向工具。RoboKit 把它們放在同一個批次化、可微分的基礎上,因此實驗室只需一個相依套件就能大規模產生重定向動作或抓取資料集,再將同一個機器人模型重複用於規劃與校正。配套工具組顯示這個基礎能用於真實硬體:GraspKit 的策略在配備靈巧機器手的 xArm 手臂上執行,RetargetingKit 則即時驅動機器手與人形機器人。對我們 frax 與 PyRoki 頁面的讀者而言,它是 GPU 批次化機器人運動學的最新成員,涵蓋的任務更廣;對 mjlab 與 MuJoCo 的使用者而言,它在 MuJoCo Warp 上加入了取樣式 MPC。它才發布幾天,速度宣稱與涵蓋範圍仍需外部使用者確認。

解決的問題

逆向運動學、運動規劃、重定向、校正與抓取合成通常一次只求解一個問題,各自使用自己的函式庫與機器人描述。RoboKit 將它們表示為單一批次化、可微分機器人模型上的成本項,並在 GPU 上平行求解數千個,因此產生大量機器人資料或同時求解許多問題不再是瓶頸。

重點

  • 一套工具組涵蓋逆向運動學、運動規劃、重定向、手眼校正、抓取合成與 MPC
  • 任務是成本項的總和,以取樣與梯度最佳化器求解,可處理單一問題或數千個平行問題
  • 在 NVIDIA Warp 上從 URDF 或 MJCF 建立批次化、可微分的運動學;PyTorch 為選用
  • 透過 MuJoCo Warp 的取樣式 MPC 與一條強化學習訓練路徑,並提供機器手、人形機器人與四足機器人範例
  • RetargetingKit 與 GraspKit 在其上建立遠端操作與靈巧抓取功能,並在搭配機器手的 xArm 手臂上測試
  • 1.0.0 版以 MIT 授權上架 PyPI;機器人模型與資料集各自保有其授權

適用對象

  • 大量產生重定向動作、抓取或軌跡的機器人學習研究人員
  • 透過 VR、手套或動作擷取遠端操作靈巧機器手或人形機器人的團隊
  • 希望以單一批次化基礎處理多種任務的 PyRoki、cuRobo 或 mink 使用者
  • 使用 xArm 手臂與機器手研究靈巧抓取的實驗室

限制

  • 由單一實驗室於 2026 年 11 月 6 日發布,目前外部使用還很少
  • 速度提升是作者自己的測量結果;含基準測試細節的論文尚未公開
  • 機器人模型與資料集各自保有其授權:如專案的資產授權清單所述,其中數個為非商業授權(CC BY-NC),部分動作與手部資料(AMASS、ARCTIC、GRAB、MANO、SMPL-X)附有受限的研究條款
  • 需大量 GPU 的功能需要 NVIDIA 硬體:GraspKit 的最佳化、算圖與訓練需要 CUDA GPU,攝影機校正則需要針對你所用的 PyTorch 與 CUDA 版本建置的 nvdiffrast
  • GraspKit 與 RetargetingKit 為 0.1.0 版,其真實機器人路徑是為特定設備配置的:搭配 XHand、Sharpa 或 Ability 機器手的 xArm 手臂

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。