HumanPlus: Humanoid Shadowing and Imitation from Humans

Autores: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

Licencias

Acceso abierto
Artículo: CC BY 4.0

Todo lo que sigue se basa en el artículo completo bajo su licencia CC BY 4.0; su figura se muestra con crédito a los autores.

En resumen

Una política de RL entrenada con 40 h de movimiento humano permite a un humanoide de 33-DoF copiar a un operador captado por una sola cámara RGB; esos datos de teleoperación entrenan después políticas de habilidades con visión con un 60–100 % de éxito.

Por qué importa

La configuración de teleoperación necesita un operador y una cámara RGB (que figura a $50 en la comparación del artículo) y controla el cuerpo y las manos a la vez, incluidos agacharse y caminar. Los equipos que trabajan con humanoides obtienen una vía para pasar de demostraciones de cuerpo completo de bajo coste a habilidades autónomas sin construir una simulación específica para cada habilidad.

Problema

En principio, los humanoides podrían aprender de grandes cantidades de datos de movimiento humano, pero las diferencias de morfología y actuación, la dificultad de la percepción y el control de cuerpo completo, y la falta de un pipeline de datos de cuerpo completo accesible lo han impedido. La teleoperación de humanoides anterior dependía de trajes de captura de movimiento, exoesqueletos o visores de VR, que los autores describen como caros y limitados en cuanto a dónde pueden usarse.

Solución propuesta

Una política de bajo nivel basada en un transformador solo decodificador (Humanoid Shadowing Transformer) se entrena con PPO en simulación con poses humanas de AMASS redirigidas al robot, y después se despliega zero-shot a 50 Hz con un controlador PD de 1000 Hz. La pose del cuerpo (WHAM) y la de las manos (HaMeR), estimadas desde una sola cámara RGB, se redirigen en tiempo real, de modo que un operador maneja todo el robot mientras dos cámaras en la cabeza registran datos egocéntricos. Un Humanoid Imitation Transformer solo decodificador, adaptado de ACT, se entrena con estas demostraciones y añade una pérdida L2 sobre las características de imagen futuras predichas para evitar que la política ignore la visión.

Ideas clave

Una única política de bajo nivel independiente de la tarea, condicionada por poses objetivo y entrenada con movimiento humano redirigido (retargeting), sustituye al diseño de recompensas por habilidad y se transfiere zero-shot al hardware.
El shadowing desde una cámara RGB permite a un solo operador controlar el cuerpo y las manos a la vez; las referencias kinestésica, de estilo ALOHA y de Meta Quest necesitaban dos o más operadores y no permitían el control de cuerpo completo.
Predecir tokens de características de imagen futuras junto con las acciones evita que una política de visión se sobreajuste a la propiocepción; ACT sin ello se quedaba atascado repitiendo subtareas que ya había completado.
La entrada binocular importa cuando importa la profundidad: la variante monocular fracasó por completo en Wear a Shoe and Walk y manejó la mesa de forma brusca en Fold Clothes.

Resultados principales

Éxito en la tarea completa de la política de imitación: Fold Clothes 100 %, Rearrange Objects 90 %, Type "AI" 80 %, Two-Robot Greeting 90 %, Warehouse 90 %, Wear a Shoe and Walk 60 %, usando 25–40 demostraciones por tarea.
Wear a Shoe and Walk (40 demostraciones): 60 % para HIT frente al 0 % de la variante monocular, de ACT y de la reproducción en lazo abierto; ACT también obtuvo un 0 % en Type "AI", pero igualó a HIT en Fold Clothes, Warehouse y Two-Robot Greeting.
Estudio con seis participantes: el tiempo de la tarea completa en Rearrange Objects fue de 5,20 s con shadowing frente a 6,60 s kinestésico, 7,15 s de estilo ALOHA y 8,87 s con Meta Quest; solo el shadowing pudo realizar la tarea con sentadilla Rearrange Lower Objects (15,34 s).
Pruebas de empuje en la pelvis: la política aprendida resistió 32/44/70/100 N (hacia delante/atrás/izquierda/derecha) frente a 24/36/40/40 N del controlador por defecto del H1, y se recuperó en 1,2 s frente a 15 s.
La política aprendida se agacha hasta 0,44 m (controlador por defecto 0,85 m), salta 0,35 m (por defecto 0 m) y se levanta de una silla, algo que el controlador por defecto no puede hacer.
La estimación y el retargeting de la pose del cuerpo funcionan a 25 fps y la pose de las manos a 10 fps en una RTX 4090; la política de imitación se ejecuta a bordo a 25 Hz y alimenta a la política de bajo nivel de 50 Hz.

Limitaciones

El hardware tiene menos DoF que una persona: los tobillos de 1-DoF impiden movimientos como levantar y sacudir una pierna, y los brazos de 5-DoF (incluida la muñeca) limitan el control en el espacio operacional de 6-DoF y dejan regiones inalcanzables durante el shadowing.
Las cámaras egocéntricas están fijas en la cabeza y no son activas, por lo que las manos y las interacciones pueden quedar fuera de la vista.
Un mapa de retargeting fijo descarta las articulaciones humanas que el robot no tiene, lo que puede restringir el aprendizaje a un subconjunto de los movimientos humanos.
La estimación de la pose falla con oclusiones grandes, lo que limita dónde puede situarse el operador; el operador también depende de tener línea de visión con el robot.
No se aborda la navegación de horizonte largo; los autores afirman que requeriría muchas más demostraciones y un seguimiento preciso de la velocidad en el mundo real.

Impacto en el campo

Finalista del CoRL 2024 Outstanding Paper Award, con 442 citas. La página oficial del proyecto enlaza el código en github.com/MarkFzp/humanplus.

Resumen

Uno de los argumentos clave para construir robots con factores de forma similares a los de los seres humanos es que podemos aprovechar la enorme cantidad de datos humanos para el entrenamiento. Sin embargo, hacerlo ha seguido siendo difícil en la práctica debido a las complejidades de la percepción y el control de los humanoides, a las diferencias físicas persistentes entre humanoides y humanos en morfología y actuación, y a la falta de un pipeline de datos para que los humanoides aprendan habilidades autónomas a partir de visión egocéntrica. En este artículo presentamos un sistema completo para que los humanoides aprendan movimientos y habilidades autónomas a partir de datos humanos. Primero entrenamos una política de bajo nivel en simulación mediante aprendizaje por refuerzo usando conjuntos de datos existentes de movimiento humano de 40 horas. Esta política se transfiere al mundo real y permite que los robots humanoides sigan el movimiento del cuerpo y de las manos de una persona en tiempo real usando solo una cámara RGB, es decir, shadowing. Mediante el shadowing, los operadores humanos pueden teleoperar humanoides para recopilar datos de cuerpo completo con los que aprender distintas tareas en el mundo real. Con los datos recopilados, realizamos después clonación de comportamiento supervisada para entrenar políticas de habilidades usando visión egocéntrica, lo que permite a los humanoides completar distintas tareas de forma autónoma imitando habilidades humanas. Demostramos el sistema en nuestro humanoide personalizado de 33-DoF y 180cm, que completa de forma autónoma tareas como ponerse un zapato para levantarse y caminar, descargar objetos de estanterías de almacén, doblar una sudadera, reordenar objetos, escribir en un teclado y saludar a otro robot, con tasas de éxito del 60-100 % usando hasta 40 demostraciones. Sitio web del proyecto: https://humanoid-ai.github.io/

Enlaces

arXiv 2406.10454: https://arxiv.org/abs/2406.10454
DOI 10.48550/arXiv.2406.10454: https://doi.org/10.48550/arXiv.2406.10454
PDF: https://raw.githubusercontent.com/mlresearch/v270/main/assets/fu25a/fu25a.pdf
Código: https://github.com/MarkFzp/humanplus
Página del proyecto: https://humanoid-ai.github.io/