Should We Learn Contact-Rich Manipulation Policies From Sampling-Based Planners?

Autoren: Huaijiang Zhu, Tong Zhao, Xinpei Ni, Jiuguang Wang, Kuan Fang, Ludovic Righetti, Tao Pang · RA-L 2025

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

RRT-generierte Demonstrationen haben eine hohe Aktionsentropie, die Behavior Cloning schadet; konsistentere Planerdaten trainieren Diffusion Policies für kontaktreiche Aufgaben, die sich zero-shot auf Hardware übertragen lassen.

Warum es wichtig ist

Das Paper zeigt, dass das Design des Planers, nicht nur die Datenmenge, darüber entscheidet, ob Behavior Cloning aus geplanten Demonstrationen funktioniert: Daten mit geringerer Entropie schlugen probabilistisch vollständige RRT-Daten, obwohl RRT die Zustände etwas besser abdeckte. Es bietet einen Weg zu Trainingsdaten für Aufgaben mit Kontakten des ganzen Arms und Mehrfingerkoordination, die sich mit aktuellen Teleoperationsschnittstellen nicht leicht demonstrieren lassen.

Problem

Behavior Cloning hat vor allem dort funktioniert, wo Menschen Demonstrationen per Teleoperation liefern können, doch gängige Teleoperationsschnittstellen verfolgen nur Endeffektoren, sodass Demonstrationen mit Kontakt des ganzen Arms oder Mehrfingerkoordination schwer zu sammeln sind. Reinforcement Learning als Datenquelle behandelt Beschränkungen als Belohnungsstrafen, was Reward Shaping und Sim-to-Real-Transfer erschwert. Das Paper fragt, wie modellbasierte Kontaktplaner Trainingsdaten für solche Aufgaben erzeugen sollten.

Lösungsansatz

Ein Planer mit einem geglätteten, quasidynamischen Kontaktmodell schlägt einen Plan vor, der in einem Physiksimulator ohne Kontaktglättung abschnittsweise erneut ausgeführt wird, um Zustands-Aktions-Demonstrationen zu erzeugen; erreichte Zustände werden anschließend als Ziele umgelabelt (Hindsight Goal Relabelling). Auf diesen Daten wird eine zielkonditionierte Diffusion Policy (1D U-Net mit FiLM-Konditionierung) trainiert. Der Planer wird auf Konsistenz umgestellt: eine Greedy-Suche für die bimanuelle Aufgabe und eine dünnbesetzte probabilistische Roadmap über die 24 kanonischen Würfelorientierungen mit festen Primitiven und vorab berechneten Griffen für die In-Hand-Aufgabe.

Wichtigste Erkenntnisse

RRT sampelt bei jeder Baumerweiterung Teilziele, was Demonstrationen mit hoher Aktionsentropie ergibt, aus denen sich schwer lernen lässt, besonders mit wenig Daten.
Bessere Zustandsabdeckung ergab keine besseren Policies: RRT-Daten deckten etwas mehr Zustände ab, trainierten aber deutlich schlechtere Policies als Daten des Greedy-Planers.
Hindsight Goal Relabelling verwandelt suboptimale oder gescheiterte Demonstrationen in gültige Trainingspaare für die tatsächlich erreichten Zustände.
Bei der Würfelaufgabe wirkt eine Hybridlösung aus Haupt-Policy und Policy für die finale Feinjustierung dem Datenungleichgewicht entgegen und steigerte den simulierten Erfolg um etwa 10 % gegenüber einer einheitlichen Policy.
Lange Aktionshorizonte (40 und 60 Schritte) wurden verwendet, weil kurze Horizonte durch das Wechseln zwischen Aktionsmodi ruckartige Bewegungen ergaben.

Hauptergebnisse

IiwaBimanual in der Simulation (100 Anfangspositionen): Daten des Greedy-Planers erreichen mit 100 Demos 99 % Erfolg gegenüber 44 % für Contact-RRT-Daten; mit 500, 1.000 und 5.000 Demos sind es 98 %, 99 % und 100 % gegenüber 63 %, 88 % und 84 %.
Simulation, 100 Anfangsposen: AllegroHand-Easy 82 % und AllegroHand-Hard 68 % mit der hybriden Policy gegenüber 74 % und 57 % für eine einheitliche Policy; IiwaBimanual 99 %.
Hardware AllegroHand (hybride Policy): 15 von 24 Versuchen gelingen für jede Variante (62,5 %), mit Orientierungsfehlern bei erfolgreichen Versuchen von 13,7 ± 5,9° (Easy) und 15,5 ± 5,2° (Hard).
Hardware IiwaBimanual: 18 von 20 Versuchen gelingen (90 %); gescheiterte Versuche endeten bei etwa 15° Orientierungsfehler, knapp über der Schwelle von 0,2 rad (11,5°).
Der Transfer erfolgte zero-shot trotz Modellabweichung (reales Objekt 1,25 kg und 0,59 m Durchmesser gegenüber 1,0 kg und 0,6 m in der Simulation) und ohne Domain Randomization.

Einschränkungen

Die Policy reagiert oft nicht auf Zustände außerhalb der Verteilung, die in den Trainingsdaten fehlen, eine Folge der vorab berechneten Primitive; dies geschieht auf der Hardware häufiger.
Eine Korrektur im Stil von DAgger ist schwer anzuwenden, weil der Planer nicht aus beliebigen Systemkonfigurationen Lösungen finden kann.
Die IiwaBimanual-Policy pendelt manchmal zwischen Rotation im und gegen den Uhrzeigersinn, sodass sie oft länger braucht als nötig; die AllegroHand-Policy verwendet manchmal längere Primitivsequenzen als nötig.
Das beste Datenmischungsverhältnis für eine einheitliche AllegroHand-Policy bleibt offen, und ein Warmstart der Inferenz mit der vorherigen Aktionsvorhersage zur Verringerung des Ruckelns bleibt künftiger Arbeit überlassen.
Während Training oder Datengenerierung wurde keine Domain Randomization von Objekt- oder Robotergeometrie oder Reibung verwendet.

Wirkung auf das Fachgebiet

Das Paper gewann den RA-L Best Paper Award (als RA-L 2026 geführt) und hat 23 Zitierungen. Es veröffentlicht ein Video der Hardware-Experimente (https://youtu.be/CxgjJmiiEhI); das Paper nennt keine Veröffentlichung von Code oder Datensatz.

Zusammenfassung

Der enorme Erfolg von Behavior Cloning (BC) in der Robotermanipulation beschränkte sich weitgehend auf Aufgaben, bei denen Demonstrationen effektiv durch menschliche Teleoperation gesammelt werden können. Demonstrationen für kontaktreiche Manipulationsaufgaben, die eine komplexe Koordination mehrerer Kontakte erfordern, sind jedoch aufgrund der Grenzen aktueller Teleoperationsschnittstellen schwer zu sammeln. Wir untersuchen, wie sich modellbasierte Planung und Optimierung nutzen lassen, um Trainingsdaten für kontaktreiche, geschickte Manipulationsaufgaben zu erzeugen. Unsere Analyse zeigt, dass verbreitete samplingbasierte Planer wie Rapidly Exploring Random Tree (RRT) zwar für die Bewegungsplanung effizient sind, aber Demonstrationen mit ungünstig hoher Entropie erzeugen. Dies motiviert Änderungen an unserer Datengenerierungspipeline, die die Konsistenz der Demonstrationen priorisiert und zugleich die Vielfalt der Lösungen erhält. In Kombination mit einem diffusionsbasierten, zielkonditionierten BC-Ansatz ermöglicht unsere Methode effektives Policy-Lernen und einen Zero-Shot-Transfer auf Hardware für zwei anspruchsvolle kontaktreiche Manipulationsaufgaben.

Open Source Robotics