HumanPlus: Humanoid Shadowing and Imitation from Humans

Autoren: Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn · CoRL 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eine auf 40 h menschlicher Bewegung trainierte RL-Policy lässt einen Humanoiden mit 33-DoF einen von einer einzigen RGB-Kamera erfassten Bediener nachahmen; diese Teleoperationsdaten trainieren dann visuelle Fertigkeits-Policies mit 60–100 % Erfolg.

Warum es wichtig ist

Der Teleoperationsaufbau benötigt einen Bediener und eine RGB-Kamera (im Vergleich des Papers mit $50 angegeben) und steuert Körper und Hände gemeinsam, einschließlich Hocken und Gehen. Teams, die mit Humanoiden arbeiten, erhalten einen Weg von kostengünstigen Ganzkörper-Demonstrationen zu autonomen Fertigkeiten, ohne für jede Fertigkeit eine aufgabenspezifische Simulation zu bauen.

Problem

Humanoide könnten prinzipiell aus großen Mengen menschlicher Bewegungsdaten lernen, doch Unterschiede in Morphologie und Aktuierung, schwierige Ganzkörperwahrnehmung und -regelung sowie das Fehlen einer zugänglichen Ganzkörper-Datenpipeline haben dies verhindert. Frühere Teleoperation von Humanoiden stützte sich auf Motion-Capture-Anzüge, Exoskelette oder VR-Headsets, die die Autoren als teuer und in ihren Einsatzorten eingeschränkt beschreiben.

Lösungsansatz

Eine Low-Level-Policy als reiner Decoder-Transformer (Humanoid Shadowing Transformer) wird in der Simulation mit PPO auf menschlichen AMASS-Posen trainiert, die auf den Roboter retargetet wurden, und dann zero-shot mit 50 Hz und einem PD-Regler mit 1000 Hz eingesetzt. Körperpose (WHAM) und Handpose (HaMeR), geschätzt aus einer einzigen RGB-Kamera, werden in Echtzeit retargetet, sodass ein Bediener den gesamten Roboter steuert, während zwei Kopfkameras egozentrische Daten aufzeichnen. Ein reiner Decoder-Transformer, der Humanoid Imitation Transformer, adaptiert von ACT, wird auf diesen Demonstrationen trainiert und fügt einen L2-Verlust auf vorhergesagte künftige Bildmerkmale hinzu, damit die Policy die Bildinformation nicht ignoriert.

Wichtigste Erkenntnisse

Eine einzige aufgabenunabhängige Low-Level-Policy, die auf Zielposen konditioniert und auf retargeteter menschlicher Bewegung trainiert ist, ersetzt das Reward-Engineering je Fertigkeit und überträgt sich zero-shot auf die Hardware.
Shadowing mit einer RGB-Kamera erlaubt einem einzigen Bediener, Körper und Hände gleichzeitig zu steuern; die kinästhetischen, ALOHA-artigen und Meta-Quest-Baselines benötigten zwei oder mehr Bediener und unterstützten keine Ganzkörpersteuerung.
Die Vorhersage künftiger Bildmerkmal-Tokens zusammen mit den Aktionen verhindert, dass sich eine visuelle Policy an die Propriozeption überanpasst; ACT ohne diese Vorhersage blieb dabei hängen, bereits erledigte Teilaufgaben zu wiederholen.
Binokulare Eingabe ist wichtig, wenn Tiefe wichtig ist: Die monokulare Variante scheiterte bei Wear a Shoe and Walk vollständig und ging bei Fold Clothes grob mit dem Tisch um.

Hauptergebnisse

Erfolg der Imitations-Policy über die gesamte Aufgabe: Fold Clothes 100 %, Rearrange Objects 90 %, Type "AI" 80 %, Two-Robot Greeting 90 %, Warehouse 90 %, Wear a Shoe and Walk 60 %, mit 25–40 Demonstrationen je Aufgabe.
Wear a Shoe and Walk (40 Demos): 60 % für HIT gegenüber 0 % für die monokulare Variante, ACT und Open-Loop-Wiedergabe; ACT erzielte auch bei Type "AI" 0 %, lag aber bei Fold Clothes, Warehouse und Two-Robot Greeting gleichauf mit HIT.
Nutzerstudie mit sechs Teilnehmenden: Die Gesamtzeit bei Rearrange Objects betrug 5,20 s mit Shadowing gegenüber 6,60 s kinästhetisch, 7,15 s ALOHA-artig und 8,87 s mit Meta Quest; nur mit Shadowing ließ sich die Hock-Aufgabe Rearrange Lower Objects bewältigen (15,34 s).
Stoßtests am Becken: Die gelernte Policy hielt 32/44/70/100 N (vorwärts/rückwärts/links/rechts) stand gegenüber 24/36/40/40 N beim Standardregler des H1 und erholte sich in 1,2 s gegenüber 15 s.
Die gelernte Policy hockt bis 0,44 m (Standardregler 0,85 m), springt 0,35 m (Standard 0 m) und steht von einem Stuhl auf, was der Standardregler nicht kann.
Körperposenschätzung und Retargeting laufen mit 25 fps und die Handpose mit 10 fps auf einer RTX 4090; die Imitations-Policy läuft an Bord mit 25 Hz und speist die Low-Level-Policy mit 50 Hz.

Einschränkungen

Die Hardware hat weniger DoF als ein Mensch: Sprunggelenke mit 1-DoF verhindern Bewegungen wie das Anheben und Schütteln eines Beins, und Arme mit 5-DoF (einschließlich Handgelenk) schränken die Regelung im Operationsraum mit 6-DoF ein und lassen beim Shadowing unerreichbare Bereiche.
Die egozentrischen Kameras sind fest am Kopf montiert und nicht aktiv, sodass Hände und Interaktionen aus dem Bild geraten können.
Eine feste Retargeting-Abbildung verwirft menschliche Gelenke, die der Roboter nicht hat, was das Lernen auf einen Teil der menschlichen Bewegungen beschränken kann.
Die Posenschätzung versagt bei starken Verdeckungen, was einschränkt, wo der Bediener stehen kann; der Bediener ist außerdem auf Sichtkontakt zum Roboter angewiesen.
Navigation über lange Horizonte wird nicht behandelt; die Autoren geben an, dass sie viel mehr Demonstrationen und eine genaue Geschwindigkeitsverfolgung in der realen Welt erfordern würde.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2024 Outstanding Paper Award, mit 442 Zitierungen. Die offizielle Projektseite verlinkt den Code unter github.com/MarkFzp/humanplus.

Zusammenfassung

Eines der zentralen Argumente für den Bau von Robotern mit menschenähnlicher Bauform ist, dass wir die riesigen Mengen menschlicher Daten für das Training nutzen können. In der Praxis ist dies jedoch schwierig geblieben, wegen der Komplexität von Wahrnehmung und Regelung bei Humanoiden, fortbestehender physischer Unterschiede zwischen Humanoiden und Menschen in Morphologie und Aktuierung sowie des Fehlens einer Datenpipeline, mit der Humanoide autonome Fertigkeiten aus egozentrischer Sicht lernen können. In diesem Paper stellen wir ein Full-Stack-System vor, mit dem Humanoide Bewegungen und autonome Fertigkeiten aus menschlichen Daten lernen. Zunächst trainieren wir in der Simulation mittels Reinforcement Learning eine Low-Level-Policy auf vorhandenen menschlichen Bewegungsdatensätzen im Umfang von 40 Stunden. Diese Policy überträgt sich auf die reale Welt und ermöglicht humanoiden Robotern, menschlichen Körper- und Handbewegungen in Echtzeit nur mit einer RGB-Kamera zu folgen, also Shadowing. Über Shadowing können menschliche Bediener Humanoide teleoperieren, um Ganzkörperdaten zum Lernen verschiedener Aufgaben in der realen Welt zu sammeln. Mit den gesammelten Daten führen wir anschließend überwachtes Behavior Cloning durch, um Fertigkeits-Policies mit egozentrischer Sicht zu trainieren, sodass Humanoide verschiedene Aufgaben autonom erledigen können, indem sie menschliche Fertigkeiten imitieren. Wir demonstrieren das System auf unserem angepassten 33-DoF-Humanoiden mit 180cm, der autonom Aufgaben wie das Anziehen eines Schuhs, um aufzustehen und zu gehen, das Entladen von Objekten aus Lagerregalen, das Falten eines Sweatshirts, das Umordnen von Objekten, das Tippen und das Begrüßen eines anderen Roboters mit Erfolgsraten von 60-100 % bei bis zu 40 Demonstrationen erledigt. Projektwebsite: https://humanoid-ai.github.io/

Open Source Robotics