wuji-mjlab
在 Wuji Hand 上训练并部署魔方重定向与转笔的手内操作策略
许可证
Apache-2.0
概述
wuji-mjlab 是 Wuji Technology(舞肌科技)为自家机器人手发布的开源手内灵巧操作训练与部署代码。策略在 mjlab 中用 PPO 训练,mjlab 是基于 MuJoCo 的 GPU 并行机器人学习框架;训练好的策略配合一台相机,在真实的手上闭环运行。项目包含两个任务。Cube Reorient 把掌心朝上握着的方块转到任意目标姿态并保持住,支持 Wuji Hand 和 Wuji Hand 2。PenSpin 让 Wuji Hand 2 通过跟踪参考动作来转动一支 250 毫米的笔,以 50 Hz 控制 20 个手指关节。2026 年 9 月的版本附带 PyTorch 和 ONNX 格式的预训练检查点、40 段转笔动作片段及其训练配方,以及 STEP 和 3MF 格式的可打印安装夹具、方块和笔。代码采用 Apache 2.0 许可证。
大多数手内操作成果只有一篇论文和一段视频。这里是一条可以从头跑到尾的完整流程。训练、导出和部署都在仓库里,策略可以直接下载,真机装置的规格细到相机镜头、标签尺寸和安装夹具。部署端刻意做得很轻。重定向策略只依赖 numpy 和 onnxruntime,运行时不需要 PyTorch 或 mjlab。它被拆成三个通过 ZeroMQ 连接的进程:一个根据标记估计方块位姿的相机观测器,一个驱动手的策略循环,以及一个可选的 MuJoCo 镜像,用来查看策略"认为"发生了什么。
5 月的首个版本覆盖了初代 Wuji Hand 上的方块重定向。据作者报告,其检查点在全部 100 次仿真试验和 20 次真机试验中的 17 次里达到目标,平均误差约 4 度。9 月的版本加入了第二代手、50 Hz 的重定向变体,以及转笔。转笔是另一类问题:策略不是去达到一个目标姿态,而是跟踪录制好的参考动作,因此行为取决于给它的片段。项目提供五组片段,每组都有配套的检查点。
整套代码以 Wuji 的硬件为前提。驱动是 Wuji 自己的 SDK,相机部分针对海康机器人(Hikrobot)的工业相机 SDK 编写,模型描述的也是 Wuji 的手。它是面向一个手系列的参考实现,而不是通用的灵巧操作库。
为何重要
手内重定向和转笔是衡量机器人灵巧性的经典考题。过去它们大多由大型实验室在定制的手上展示,读者拿不到可以运行的代码。现在,一款在售五指灵巧手的厂商以宽松许可证、在开源仿真器上公开了从仿真训练到真手转笔的完整路径。这是灵巧硬件上仿真到现实强化学习少见的完整、可运行的范例,也可以作为在其他手上做同样事情的模板。
解决的问题
把灵巧手的强化学习策略从仿真搬到真机,通常意味着要自己写环境、调域随机化、搭感知装置和部署运行时,并逐一踩遍它们之间的坑。wuji-mjlab 为两个任务提供了全部可以协同工作的组件和预训练策略,拥有这款手的人可以先复现结果,再做任何改动。
要点
- 在基于 MuJoCo 的 mjlab 中用 PPO 训练,并在真实的手上闭环部署
- Cube Reorient 支持两代手;PenSpin 在 Wuji Hand 2 上跟踪参考动作,以 50 Hz 控制 20 个手指关节
- 版本附带 PyTorch 和 ONNX 检查点、40 段转笔动作片段和五份配方,以及可打印的夹具、方块和笔
- 部署只需 numpy 和 onnxruntime,通过 ZeroMQ 分成相机、策略和可选查看器三个进程
- 首个版本报告在初代 Wuji Hand 上 100 次仿真试验全部达标、20 次真机试验中 17 次达标
- Apache-2.0;Wuji 的其他 SDK、手部描述文件和仿真示例另行发布
适用人群
- 拥有 Wuji Hand 或 Wuji Hand 2、想要可用手内操作策略的用户
- 研究灵巧手仿真到现实强化学习的研究人员
- 想找完整操作任务、而不只是运动控制示例的 mjlab 用户
- 要把手内重定向或动作跟踪策略移植到其他手上的人
局限
- 专为 Wuji 的手打造:驱动、模型和检查点面向 Wuji Hand 和 Wuji Hand 2 两款商业产品,且只支持右手
- 相机观测器针对海康机器人的工业相机 SDK 编写,换用其他相机需要改代码
- 训练需要 Linux x86_64、支持 CUDA 12.8 的 NVIDIA GPU,以及唯一受支持的安装工具 pixi
- 只公布了初代手上方块重定向的真机成功率,Wuji Hand 2 和转笔都没有
- 转笔跟踪的是录制好的参考片段,因此复现的是给定动作,而不会自创新动作
- 只有两个任务:还没有抓取、工具使用或双手协作