RoboKit
开源 GPU 工具包:在同一次运算中并行求解数千个机器人逆运动学、运动规划、动作重定向和抓取合成问题
许可证
MIT
代码:MIT,依据 RoboKit、RetargetingKit 和 GraspKit 仓库中的 LICENSE。机器人模型和数据集从项目的 Hugging Face 数据集下载,保留各自的许可:其中多个采用 CC BY-NC 或 CC BY-NC-SA(例如 Inspire 灵巧手模型和 DexYCB),AMASS、ARCTIC、GRAB、MANO 和 SMPL-X 的数据受研究用途限制。部分模型未注明许可(例如 XHand),项目自己的资产许可清单也这样说明。商业使用或再分发前请查看该清单。于 2026-11-07 对照 LICENSE 和资产许可清单核实。
概述
RoboKit 是一个用于机器人优化的开源 Python 工具包,来自加州大学圣地亚哥分校 Xiaolong Wang 的课题组,第一作者是 Jianglong Ye。它从 URDF 或 MJCF 加载机器人,在 GPU 上计算批量、可微的运动学,并用采样和梯度优化器求解由代价项之和构成的任务,从单个问题到数千个问题并行求解。内置任务包括逆运动学、无碰撞运动规划、手部和人形机器人动作重定向、手眼标定、抓取合成,以及通过 MuJoCo Warp 实现的模型预测控制。它也是与其一同发布的两个配套工具包的基础:用于遥操作的 RetargetingKit 和用于灵巧操作中的抓取的 GraspKit。1.0.0 版已发布在 PyPI 上;据作者介绍,描述它的论文已被 CoRL 2026 接收为 spotlight 论文。
RoboKit 把机器人领域里大多数小型优化问题当作同一类问题来处理。机器人从 URDF 或 MJCF 加载为批量、可微的运动学模型;任务是一组代价项,例如位姿目标、碰撞、关节限位和接触;种群求解器用 Levenberg-Marquardt、L-BFGS 或梯度下降同时移动大量候选解,或按 MPPI 和进化策略式的流程对其采样。优化指南说明了这些部分如何组合。运动学和几何计算运行在 NVIDIA Warp 上,PyTorch 是可选的,同一套代码既能解一个问题也能并行解数千个,有 GPU 时就在 GPU 上运行。
内置任务包括支持固定或浮动基座的逆运动学、绕开障碍物的离线和在线运动规划、手部、人形机器人和全身的动作重定向(可选物体接触)、基于渲染机器人掩码的相机标定,以及适用于任意手的力封闭抓取合成。安装 MuJoCo Warp 扩展后,它还能通过仿真器进行基于采样的模型预测控制;示例包括 Sharpa 灵巧手转笔、Unitree G1 爬上箱子,以及 Go2 在选定落脚点上完成跳跃。强化学习路径可以训练策略,例如 Franka 机械臂组装 NIST 测试板零件、Go1 上下楼梯。机器人模型和数据集从项目的 Hugging Face 数据集下载并固定到某一版本,涵盖 Franka Panda 和 xArm 等机械臂、十几款人形机器人以及大量机器人手和夹爪。如快速入门所示,基于 Viser 的交互式示例库可以直接从软件包运行。
RoboKit 于 2026 年 11 月 6 日作为 OpenRoboKit 的一部分发布,同时发布的还有两个基于它构建的工具包。RetargetingKit 把实时或录制的人体动作映射到机器人手、机械臂和人形机器人上,输入可以来自 Apple Vision Pro、PICO、Manus 手套或动作捕捉,用于实时遥操作或批量重定向;支持的目标包括 xArm 机械臂以及 Inspire 和 Ability 灵巧手。GraspKit 覆盖完整的抓取流程:在 GPU 上优化抓取、渲染点云、训练把点云映射为抓取轨迹的策略,并部署到 ManiSkill 或真实硬件上;其真机预设把 xArm6 和 xArm7 机械臂与 XHand、Sharpa 和 Ability 灵巧手组合使用。团队的发布帖展示了用这套装置在圣地亚哥户外连续抓取 16 小时的过程。第四个仓库 RoboSkills 提供面向机器人的智能体工作流。团队在 README 中报告,与所对比的工具相比,耗时大幅缩短,对比对象包括逆运动学方面的 PyRoki、运动规划方面的 cuRobo、人形机器人重定向方面的 GMR,以及训练出强化学习策略所需时间方面的 mjlab;基准测试细节见论文,但论文尚未公开。
为何重要
机器人学习流程会反复运行同样的小型优化:为重定向动作的每一帧求逆运动学,为数据集里的每个物体求一个抓取,为每一对起点和终点求一条规划。如今这些工作通常各自依赖不同的库和各自的机器人加载器,例如运动学用 PyRoki 或 mink,规划用 cuRobo,重定向再用另一个工具。RoboKit 把它们放在同一个批量、可微的基础上,实验室只需一个依赖就能大规模生成重定向动作或抓取数据集,并把同一个机器人模型继续用于规划和标定。配套工具包表明这个基础已经用到了真实硬件上:GraspKit 的策略运行在装有灵巧手的 xArm 机械臂上,RetargetingKit 则能实时驱动机器人手和人形机器人。对于读过我们 frax 和 PyRoki 页面的读者,它是 GPU 批量机器人运动学方面最新的一员,覆盖的任务更广;对于 mjlab 和 MuJoCo 用户,它增加了基于 MuJoCo Warp 的采样式 MPC。它发布才几天,速度数据和功能广度都还有待外部用户验证。
解决的问题
逆运动学、运动规划、动作重定向、标定和抓取合成通常一个问题一个问题地求解,每一项都有自己的库和机器人描述。RoboKit 把它们表达为同一个批量、可微机器人模型上的代价项,并在 GPU 上并行求解数千个问题,使生成大量机器人数据或同时求解大量问题不再成为瓶颈。
要点
- 一个工具包覆盖逆运动学、运动规划、动作重定向、手眼标定、抓取合成和 MPC
- 任务是代价项之和,可用采样和梯度优化器求解单个问题或并行求解数千个
- 基于 NVIDIA Warp、从 URDF 或 MJCF 构建的批量可微运动学;PyTorch 为可选
- 通过 MuJoCo Warp 进行采样式 MPC,并提供强化学习训练路径,示例涵盖灵巧手、人形机器人和四足机器人
- RetargetingKit 和 GraspKit 在其之上实现遥操作和灵巧操作中的抓取,已在配有机器人手的 xArm 机械臂上测试
- 1.0.0 版已发布在 PyPI,采用 MIT 许可;机器人模型和数据集各有其许可
适用人群
- 需要批量生成重定向动作、抓取或轨迹的机器人学习研究者
- 通过 VR、手套或动作捕捉遥操作灵巧手或人形机器人的团队
- 希望用一个批量基础处理多种任务的 PyRoki、cuRobo 或 mink 用户
- 使用 xArm 机械臂和机器人手研究灵巧操作中的抓取的实验室
局限
- 2026 年 11 月 6 日由单个实验室发布,目前外部使用还很少
- 加速数据来自作者自己的测量;包含基准测试细节的论文尚未公开
- 机器人模型和数据集各有其许可:其中多个为非商业许可(CC BY-NC),部分动作和手部数据(AMASS、ARCTIC、GRAB、MANO、SMPL-X)受研究用途限制,项目自己的资产许可清单对此有说明
- 依赖 GPU 的功能需要 NVIDIA 硬件:GraspKit 的优化、渲染和训练需要 CUDA GPU,相机标定需要针对你所用的 PyTorch 和 CUDA 版本编译的 nvdiffrast
- GraspKit 和 RetargetingKit 目前为 0.1.0 版,其真机路径针对特定装置配置:xArm 机械臂配 XHand、Sharpa 或 Ability 灵巧手