Disentangled Relational Representations for Explaining and Learning from Demonstration

Autoren: Yordan Hristov, Daniel Angelov, Michael Burke, Alex Lascarides, Subramanian Ramamoorthy · CoRL 2019

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

Ein β-VAE mit zusätzlichen Label-Losses lernt Embeddings räumlicher Relationen, die Tisch-Demonstrationen in symbolische Pläne und PR2-Endeffektor-Posen umwandeln.

Warum es wichtig ist

Ein Nutzer kann einem Roboter aus teilweise gelabelten Daten ein räumliches Vokabular beibringen, und der Roboter erklärt neue Demonstrationen dann im selben Vokabular, sodass sein Plan von einer Person gelesen und geprüft werden kann. Dieselben Embeddings speisen einen Posen-Regressor, der die beigebrachten Symbole mit der Armbewegung auf einem PR2 verknüpft.

Problem

Lernen aus Demonstrationen hängt von einem induktiven Bias in der Struktur von Belohnungen und Policies ab, und Menschen ohne Robotik-Expertise fällt es leichter, eine Aufgabe vorzuführen, als sie zu spezifizieren. Ein Roboter, der mit Sprache unterrichtet wird, muss abstrakte Konzepte wie 'links von' oder 'auf' in seinem hochdimensionalen Sensorstrom verankern. Bisherige relationale Modelle brauchen große vollständig gelabelte Datensätze und agieren als Blackbox oder setzen ein bekanntes Umgebungsmodell, eine deterministische Abbildung auf Symbole und vollständige Pläne voraus.

Lösungsansatz

Ein siamesischer β-VAE kodiert maskierte RGBD-Bilder eines Ziel- und eines Referenzobjekts in Objekt-Embeddings, und ein variationaler Operator bildet jedes Paar in einen niedrigdimensionalen relationalen Raum mit einer Achse pro Konzeptgruppe ab (links/rechts, vorne/hinten, oben/unten, nah/fern, auf/nicht auf, in/außerhalb). Rekonstruktions-, KL- und Cross-Entropy-Terme auf schwachen, teilweise fehlenden Labels richten diese Achsen an menschlichen Begriffen aus. Zur Testzeit ermitteln Likelihood-Quotienten-Tests auf den Embedding-Verläufen der Demonstrationen, welches Objekt sich wann bewegt und wie sich seine Relationen ändern, die in allen Demonstrationen gefundenen Schritte bilden den Plan, und ein MLP regressiert eine 6-DoF-Endeffektor-Pose, die an den Bewegungsplaner MoveIt! übergeben wird.

Wichtigste Erkenntnisse

Schwache Labels mit einem expliziten Fall 'unknown' genügen, um latente Achsen an menschlichen räumlichen Konzepten auszurichten; ungelabelte Paare tragen über den Rekonstruktions-Loss trotzdem bei.
Die Kombination aus maskierter Rekonstruktion und Klassifikation von Objektlabels ergab den am besten nutzbaren relationalen Raum für die Segmentierung von Demonstrationen; Modelle ohne den Objektlabel-Loss erzeugten relationale Embeddings, die dicht um null gedrängt waren, was die Autoren mit deren schwächerer Segmentierung in Verbindung bringen.
Likelihood-Quotienten-Tests zwischen einer 'bewegten' und einer 'stationären' Gauß-Verteilung auf aufeinanderfolgenden Embeddings genügen, um herauszufinden, welches Objekt sich wann bewegt.
Wenn nur die Schritte behalten werden, die in jeder Demonstration vorkommen, fallen beiläufige Bewegungen weg, etwa das Vorbeiführen hinter einem Objekt auf dem Weg von seiner linken zu seiner rechten Seite.
Der Posen-Regressor ist auf den Achsen am genauesten, die für die jeweilige Aufgabe zählen: Position beim Platzieren auf oder in etwas, Rollen und Nicken, um zwei Tassen einander zuzuwenden.

Hauptergebnisse

Plansegmentierung auf repetitiven BlocksWorld-Demonstrationen: Das vollständige Modell (Rekonstruktion + Objektlabel-Loss) erreichte 0,80 bei left-right, 0,88 bei front-behind, 0,91 bei below-above, 0,86 bei far-close und 0,76 bei off-on, gegenüber 0,50, 0,64, 0,54, 0,56 und 0,49 für das Modell ohne beide Terme.
Ausnahme: In der Gruppe out-in erreichte das vollständige Modell 0,56, weniger als alle drei Ablationen (0,66, 0,62 und 0,78).
Verkettete Demonstrationen, bei denen sich ein einzelnes Objekt bewegt: Alle Modelle erreichten eine Genauigkeit von 1 bei C-shape und jump-over und etwa 0,74 bei off-on-off.
Die mittlere Editierdistanz der abgeleiteten Pläne sinkt in Richtung Ground Truth, je mehr Demonstrationen (bis zu 8) verwendet werden; einige Kurven konvergieren wegen Objektverdeckungen in manchen Demonstrationen nicht.
Daten: 1.000 synthetische BlocksWorld-Szenen mit je 4 Objekten (72.000 Relationen, 40 % ungelabelt) sowie auf dem PR2 3 teleoperierte Aufgaben × 20 Demonstrationen, die 2.400 gelabelte und 6.000 ungelabelte Objektpaare ergeben; die Posenvorhersage wurde an 10 weiteren Demonstrationen pro Aufgabe getestet.

Einschränkungen

Die Extraktion des Aufgabenkerns funktioniert nur bei deterministischen Aufgaben, bei denen eine einzige Aktionsfolge das Ziel erreicht.
Greifen wird nicht behandelt; es wird angenommen, dass der Roboter das zu bewegende Objekt bereits hält.
Die Segmentierung wird nicht gelernt: Die Masken stammen auf dem Roboter von einem vortrainierten Mask R-CNN und in BlocksWorld aus dem Simulatorzustand, und Anweisungen müssen für den Parser einer vordefinierten Vorlage folgen.
Objektverdeckungen in manchen Demonstrationen verhindern, dass die abgeleiteten Pläne gegen die Ground Truth konvergieren.
Die Evaluation umfasst drei einfache Aufgaben auf dem Tisch; kompositionelle Aufgaben und Modifikatoren wie 'weiter nach links' bleiben zukünftiger Arbeit überlassen.

Wirkung auf das Fachgebiet

Finalist für den CoRL 2019 Best Paper Award, mit 28 Zitationen. Die offizielle Projektseite verlinkt den Experimentcode, den Code zur Datenerzeugung und die fotorealistischen Trainingsdaten auf Basis von CLEVR.

Zusammenfassung

Lernen aus Demonstrationen ist eine effektive Methode, mit der menschliche Nutzer gewünschtes Roboterverhalten vorgeben können. Für die meisten nicht trivialen Aufgaben von praktischem Interesse hängt effizientes Lernen aus Demonstrationen jedoch entscheidend vom induktiven Bias in der gewählten Struktur für Belohnungen/Kosten und Policies ab. Wir behandeln den Fall, in dem dieser induktive Bias aus einem Austausch mit einem menschlichen Nutzer stammt. Wir schlagen eine Methode vor, bei der ein lernender Agent die Informationsengpass-Schicht eines variationalen neuronalen Modells mit vielen Parametern und zusätzlichen Loss-Termen nutzt, um abstrakte Konzepte wie räumliche Relationen zu verankern. Auf die Konzepte wird in natürlichsprachlichen Anweisungen Bezug genommen, und sie zeigen sich im hochdimensionalen sensorischen Eingabestrom, den der Agent aus der Welt erhält. Wir evaluieren die Eigenschaften des latenten Raums des gelernten Modells in einer fotorealistischen synthetischen Umgebung und konzentrieren uns besonders auf seine Nutzbarkeit für nachgelagerte Aufgaben. Zusätzlich zeigen wir durch eine Reihe kontrollierter Manipulationsexperimente auf dem Tisch, dass die gelernte Mannigfaltigkeit genutzt werden kann, um Demonstrationen als symbolische Pläne zu verankern, die dann auf einem PR2-Roboter ausgeführt werden können.

Open Source Robotics