RoboKit
Toolkit de GPU que resuelve miles de problemas de IK, planificación y retargeting a la vez
Licencia
MIT
Código: MIT, según LICENSE en los repositorios de RoboKit, RetargetingKit y GraspKit. Los modelos de robots y los datasets se descargan de los datasets del proyecto en Hugging Face y conservan sus propias licencias: varios están bajo CC BY-NC o CC BY-NC-SA (por ejemplo, el modelo de la mano Inspire y DexYCB), y los datos de AMASS, ARCTIC, GRAB, MANO y SMPL-X tienen condiciones de investigación restringidas. Algunos modelos no indican licencia (por ejemplo, la XHand), como dice la propia lista de licencias de recursos del proyecto. Revise esa lista antes de un uso comercial o de redistribuir. Comprobado el 2026-11-07 con LICENSE y la lista de licencias de recursos.
Resumen
RoboKit es un toolkit de Python de código abierto para optimización robótica del grupo de Xiaolong Wang en UC San Diego; su primer autor es Jianglong Ye. Carga un robot desde URDF o MJCF, calcula cinemática por lotes y diferenciable en la GPU y resuelve tareas escritas como sumas de términos de coste con optimizadores de muestreo y de gradiente, desde un solo problema hasta miles en paralelo. Las tareas incluidas son cinemática inversa, planificación de movimiento sin colisiones, retargeting de manos y humanoides, calibración mano-ojo, síntesis de agarres y control predictivo por modelo mediante MuJoCo Warp. Es la base de dos toolkits complementarios publicados con él: RetargetingKit para teleoperación y GraspKit para agarre diestro. La versión 1.0.0 está en PyPI y, según los autores, el artículo que lo describe fue aceptado como spotlight en CoRL 2026.
RoboKit trata la mayoría de los pequeños problemas de optimización de la robótica como un solo tipo de problema. Un robot se carga desde URDF o MJCF en una cinemática por lotes y diferenciable; una tarea es un conjunto de términos de coste como objetivos de pose, colisiones, límites articulares y contactos; y un solucionador de población mueve muchas soluciones candidatas a la vez con Levenberg-Marquardt, L-BFGS o descenso de gradiente, o las muestrea con esquemas al estilo de MPPI y de estrategias evolutivas. La guía de optimización muestra cómo se combinan estas piezas. La cinemática y la geometría se ejecutan sobre NVIDIA Warp, PyTorch es opcional y el mismo código sirve para un problema o para miles en paralelo, en la GPU cuando hay una.
Las tareas incluidas son cinemática inversa con base fija o flotante, planificación de movimiento offline y online alrededor de obstáculos, retargeting de movimiento de manos, humanoides y cuerpo completo con contactos opcionales con objetos, calibración de cámaras a partir de máscaras renderizadas del robot y síntesis de agarres con cierre de fuerza para cualquier mano. Con el extra de MuJoCo Warp también hace control predictivo por modelo basado en muestreo a través del simulador; los ejemplos incluyen una mano Sharpa que hace girar un bolígrafo, un Unitree G1 que trepa a una caja y un Go2 que aterriza saltos sobre apoyos elegidos. Una vía de aprendizaje por refuerzo entrena políticas como un Franka que monta piezas de un tablero NIST y un Go1 que sube y baja escaleras. Los modelos de robots y los conjuntos de datos se descargan del dataset del proyecto en Hugging Face y quedan fijados a una revisión; abarcan brazos como el Franka Panda y el xArm, una docena de humanoides y muchas manos robóticas y pinzas. Galerías interactivas en Viser se ejecutan directamente desde el paquete, como muestra el inicio rápido.
RoboKit se anunció el 6 de noviembre de 2026 como parte de OpenRoboKit, junto con dos toolkits construidos sobre él. RetargetingKit traslada movimiento humano en vivo o grabado a manos, brazos y humanoides robóticos, desde Apple Vision Pro, PICO, guantes Manus o captura de movimiento, para teleoperación en tiempo real o retargeting por lotes; entre sus destinos están los brazos xArm y las manos Inspire y Ability. GraspKit cubre todo el proceso de agarre: optimiza agarres en la GPU, renderiza nubes de puntos, entrena una política que convierte una nube de puntos en una trayectoria de agarre y la despliega en ManiSkill o en hardware; sus configuraciones para robots reales combinan brazos xArm6 y xArm7 con manos XHand, Sharpa y Ability. El anuncio del equipo muestra una sesión de agarre de 16 horas al aire libre en San Diego con este montaje. Un cuarto repositorio, RoboSkills, reúne flujos de trabajo de agentes para robótica. En su README el equipo informa de grandes ganancias de tiempo frente a las herramientas con las que se compara, entre ellas PyRoki para cinemática inversa, cuRobo para planificación de movimiento, GMR para retargeting de humanoides y mjlab para el tiempo hasta entrenar una política de RL; los detalles de las pruebas están en el artículo, que aún no es público.
Por qué importa
Los procesos de aprendizaje robótico ejecutan una y otra vez las mismas pequeñas optimizaciones: cinemática inversa para cada fotograma de un movimiento trasladado, un agarre para cada objeto de un dataset, un plan para cada inicio y destino. Hoy cada una suele implicar una biblioteca distinta con su propio cargador de robots, como PyRoki o mink para cinemática, cuRobo para planificación y otra herramienta para retargeting. RoboKit las pone sobre una sola base por lotes y diferenciable, de modo que un laboratorio puede generar movimientos trasladados o datasets de agarre a gran escala con una sola dependencia y reutilizar el mismo modelo de robot para planificación y calibración. Los toolkits complementarios muestran que esa base llega al hardware real: las políticas de GraspKit funcionan en brazos xArm con manos diestras, y RetargetingKit controla manos y humanoides en vivo. Para los lectores de nuestras páginas de frax y PyRoki es la entrada más reciente en cinemática robótica por lotes en GPU, con un abanico de tareas más amplio; para los usuarios de mjlab y MuJoCo añade MPC por muestreo sobre MuJoCo Warp. Tiene solo unos días, así que las cifras de velocidad y su amplitud aún necesitan que usuarios externos las confirmen.
Qué problema resuelve
La cinemática inversa, la planificación de movimiento, el retargeting, la calibración y la síntesis de agarres suelen resolverse problema a problema, cada uno con su propia biblioteca y su propia descripción del robot. RoboKit los expresa como términos de coste sobre un único modelo de robot por lotes y diferenciable y resuelve miles en paralelo en la GPU, de modo que producir grandes cantidades de datos robóticos o resolver muchos problemas a la vez deja de ser el cuello de botella.
Puntos clave
- Un solo toolkit para cinemática inversa, planificación de movimiento, retargeting, calibración mano-ojo, síntesis de agarres y MPC
- Las tareas son sumas de términos de coste, resueltas para un problema o miles en paralelo con optimizadores de muestreo y de gradiente
- Cinemática por lotes y diferenciable desde URDF o MJCF sobre NVIDIA Warp; PyTorch es opcional
- MPC por muestreo mediante MuJoCo Warp y una vía de entrenamiento por RL, con ejemplos en manos, humanoides y cuadrúpedos
- RetargetingKit y GraspKit construyen teleoperación y agarre diestro sobre él, probados en brazos xArm con manos robóticas
- Versión 1.0.0 en PyPI bajo MIT; los modelos de robots y los datasets tienen sus propias licencias
Para quién es
- Investigadores en aprendizaje robótico que generan en masa movimientos trasladados, agarres o trayectorias
- Equipos que teleoperan manos diestras o humanoides desde VR, guantes o captura de movimiento
- Usuarios de PyRoki, cuRobo o mink que quieren una sola base por lotes para varias tareas
- Laboratorios que trabajan en agarre diestro con brazos xArm y manos robóticas
Limitaciones
- Anunciado el 6 de noviembre de 2026 por un solo laboratorio, así que todavía tiene poco uso externo
- Las aceleraciones son mediciones de los propios autores; el artículo con los detalles de las pruebas aún no es público
- Los modelos de robots y los datasets tienen sus propias licencias: varios son no comerciales (CC BY-NC) y algunos datos de movimiento y de manos (AMASS, ARCTIC, GRAB, MANO, SMPL-X) tienen condiciones de investigación restringidas, como indica la lista de licencias de recursos del proyecto
- Las funciones intensivas en GPU necesitan hardware de NVIDIA: la optimización, el renderizado y el entrenamiento de GraspKit requieren una GPU CUDA, y la calibración de cámaras requiere nvdiffrast compilado para su versión exacta de PyTorch y CUDA
- GraspKit y RetargetingKit están en la versión 0.1.0, y sus vías para robots reales están preparadas para montajes concretos: brazos xArm con manos XHand, Sharpa o Ability