Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

Autoren: Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang · CoRL 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Eine RL-Policy für Laufroboter nimmt Positions- und Kraftkommandos entgegen und schätzt externe Kraft aus der Gelenkhistorie, was nachgiebige Regelung und kraftbewusste Imitation ohne Kraftsensoren ermöglicht.

Warum es wichtig ist

Positionsverfolgung, Kraftregelung, Kraftverfolgung und Impedanzregelung ergeben sich aus einer einzigen Policy durch die Wahl der Kommandos, ohne Regler pro Modus oder erneutes Training. Da die Kraft aus der Propriozeption geschätzt wird, lassen sich kontaktbewusste Demonstrationen auf Laufrobotern sammeln, die keinen Kraftsensor tragen.

Problem

Kontaktreiche Loco-Manipulation erfordert, dass Kontaktkraft und Roboterposition gemeinsam modelliert werden, doch laufende Manipulatoren haben meist keine Kraftsensorik. RL-Ganzkörperregler stützen sich überwiegend auf präzise Positionsregelung, und große Imitationsdatensätze zeichnen nur Trajektorien auf; die Autoren zeigen, dass solche reinen Trajektoriendaten selbst für eine einfache Kontaktaufgabe wie das Wischen einer Tafel nicht ausreichen.

Lösungsansatz

Die Autoren modellieren das Verhalten des Endeffektors mit einem vereinfachten Impedanzgesetz, x_target = x_cmd + (F_ext + F_cmd − F_react)/K, und das Verhalten der Basis mit der äquivalenten Geschwindigkeitsform und trainieren dann in Isaac Gym eine einzige PPO-Policy auf zufällig gesampelten Positions-, Geschwindigkeits- und Kraftkommandos plus externen Störkräften bis 60 N. Die Policy kodiert 32 Schritte Beobachtungshistorie, nutzt einen Zustandsschätzer zur Vorhersage von externer Kraft, Endeffektorposition und Basisgeschwindigkeit und gibt Gelenkpositionsziele für einen PD-Regler aus. Während der Teleoperation wird die geschätzte Kraft mit RGB-Bildern und dem Roboterzustand aufgezeichnet, und eine diffusionsbasierte Imitations-Policy lernt, sowohl Positions- als auch Kraftkommandos für die Low-Level-Policy auszugeben.

Wichtigste Erkenntnisse

Positionsregelung, Kraftregelung, Impedanzregelung, Kraftverfolgung und hybride Positions-/Kraftregelung folgen alle aus einer Gleichung durch Setzen der Positions- und Kraftkommandos; pro Modus ist kein zusätzliches Training nötig.
Ein zweistufiges Curriculum (zuerst Greifbewegungen des ganzen Körpers und Fortbewegung, dann zufällige Kraftkommandos und Störungen) trainierte stabiler als eine einzelne Stufe.
PD-Verstärkungen, die niedriger sind als bei rein positionsbasierter Ganzkörperregelung, verbesserten die Kraftschätzung, doch zu niedrige Verstärkungen verringerten die Genauigkeit der Positionsverfolgung.
An der Basis wird externe Kraft über die Geschwindigkeit kompensiert: Ein G1-Humanoid, der entgegen seinem Geschwindigkeitskommando gestoßen wird, hält an und lehnt sich dagegen, und der B2 läuft vorwärts, wenn er bei Nullkommandos getreten wird.
Geschätzte Kraft hilft am meisten dort, wo das Sehen wenig Information liefert, etwa bei einem Push-to-open-Schrank mit 3 mm Hub oder einer Schubladenfront, die während der Aufgabe verdeckt wird.

Hauptergebnisse

Kraftbewusste Imitation vs. dieselbe Pipeline ohne Kraft (50 Versuche pro Aufgabe, Table A.3): wipe-blackboard 0,58 vs. 0,22, open-cabinet 0,70 vs. 0,36, close-cabinet 0,72 vs. 0,30, open-drawer-occlusion 0,76 vs. 0,30, im Durchschnitt etwa 39,5 % höherer Erfolg.
Das Abstract und Section 4.2 ordnen den Gewinn von 39,5 % vier Aufgaben zu; die Beitragsliste der Einleitung spricht von drei Aufgaben.
Simulation: Der Tracking-Fehler des Endeffektors bleibt mit oder ohne passende Kraftkommandos meist innerhalb von 0,1 m, und der Fehler der Endeffektor-Positionsschätzung bleibt auf allen Achsen innerhalb von 0,05 m.
Kraftregelung am realen Roboter von 0 N bis 60 N, gemessen mit einem Dynamometer an fünf Endeffektorpositionen: durchschnittlicher Fehler innerhalb von 10 N; Kraftschätzung über sechs Stufen: 5–10 N Fehler. Die Y- und Z-Achse wurden wegen Hardwaregrenzen des Unitree Z1 nur bis 40 N getestet.
Mit einer 2,5-kg-Hantel am Endeffektor hält ein Kraftkommando von 25 N nach oben sie an Ort und Stelle; ohne das Kommando sinkt der Endeffektor ab.
Demonstrationen: 50 Trajektorien für wipe-blackboard (30k Trainingsschritte) und 30 Episoden für jede Schrank- und Schubladenaufgabe (20k Schritte).

Einschränkungen

Die Genauigkeit der Kraftschätzung verschlechtert sich bei hochfrequenten Interaktionen und an den Rändern des Arbeitsraums des Roboters.
Bei der Kraftgenauigkeit entlang verschiedener Achsen bleibt eine Sim-to-Real-Lücke, besonders bei Y, die die Autoren auf Abweichungen in Aktuatordynamik und Kontaktmodellierung zurückführen.
Die Kraft wird an einem einzigen Interaktionspunkt geschätzt, und Endeffektor und Basis werden unabhängig behandelt; Mehrpunkt- und Ganzkörper-Kraftinteraktion bleiben künftiger Arbeit überlassen.
Das Impedanzmodell lässt Dämpfungs- und Trägheitsterme weg, was zu quasistatischen Aufgaben wie Wischen oder Tauziehen passt; dynamische Fähigkeiten bräuchten höhere Regelraten sowie Geschwindigkeits- und Beschleunigungsterme.
Die Datenerhebung per Teleoperation mit dem drahtlosen Controller des B2 war langsam, etwa 20 s pro Wischversuch und 10 s pro Schrankversuch.

Wirkung auf das Fachgebiet

Das Paper erhielt den CoRL 2025 Best Paper Award und hat 35 Zitierungen. Es verweist auf eine Projektwebsite, unified-force.github.io; der Text des Papers nennt keine Veröffentlichung des Codes.

Zusammenfassung

Robotische Loco-Manipulation umfasst oft kontaktreiche Interaktionen mit der Umgebung, die eine gemeinsame Modellierung von Kontaktkraft und Roboterposition erfordern. Neuere visuomotorische Policies konzentrieren sich jedoch oft ausschließlich auf das Lernen von Positions- oder Kraftregelung und vernachlässigen deren gemeinsames Lernen. Wir schlagen die erste einheitliche Policy für Laufroboter vor, die Kraft- und Positionsregelung gemeinsam modelliert und ohne Kraftsensoren gelernt wird. Indem wir vielfältige Kombinationen von Positions- und Kraftkommandos zusammen mit externen Störkräften simulieren, lernen wir mit Reinforcement Learning eine Policy, die Kräfte aus vergangenen Roboterzuständen schätzt und sie durch Anpassungen von Position und Geschwindigkeit kompensiert. Diese Policy ermöglicht ein breites Spektrum an Manipulationsverhalten unter variierenden Kraft- und Positionseingaben, einschließlich Positionsverfolgung, Kraftaufbringung, Kraftverfolgung und nachgiebiger Interaktionen. Darüber hinaus zeigen wir, dass die gelernte Policy trajektorienbasierte Imitationslern-Pipelines verbessert, indem sie über ihr Kraftschätzungsmodul wesentliche Kontaktinformationen einbezieht, und bei vier anspruchsvollen kontaktreichen Manipulationsaufgaben um ungefähr ∼39,5 % höhere Erfolgsraten als Positionsregelungs-Policies erzielt. Experimente sowohl an einem vierbeinigen Manipulator als auch an einem humanoiden Roboter bestätigen die Vielseitigkeit und Robustheit der vorgeschlagenen Policy in unterschiedlichen Szenarien.

Open Source Robotics