Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Play Data

  • Auch genannt: teleoperated play, unstructured play data
  • Kategorie: Learning & autonomy › Learning from demonstration
  • Schlagwörter: imitation-learning, data-collection, teleoperation, goal-conditioning, robot-learning

Roboter-Interaktionsdaten, die aufgezeichnet werden, während ein menschlicher Teleoperator eine Umgebung ohne feste Aufgabe frei erkundet, und die zum Training zielkonditionierter Policies und Policies mit langem Horizont dienen.

Definition

Spieldaten (play data) stammen aus einer Form der Datenerhebung, bei der ein menschlicher Bediener einen Roboter teleoperiert oder, in manchen Arbeiten, mit den eigenen Händen agiert und mit einer Umgebung nach Belieben interagiert, statt eine vordefinierte Aufgabe auszuführen. In einer Spielsitzung könnte der Bediener eine Schublade öffnen, einen Block schieben, einen Schalter umlegen und ein Spielzeug aufheben, in beliebiger Reihenfolge. Die Idee wurde 2019 von Corey Lynch und Kollegen mit ihrer Arbeit zum Lernen latenter Pläne aus Spiel in das Roboterlernen eingebracht.

Spiel hat gegenüber Aufgabendemonstrationen mehrere praktische Vorteile. Es ist günstig zu erheben, da weder die Szene zurückgesetzt noch für jede Episode ein Erfolg definiert werden muss; es deckt ein breites Spektrum an Verhaltensweisen und die Übergänge zwischen ihnen ab; und es enthält auf natürliche Weise Korrekturen und Teilversuche. Da die Daten keine Aufgabenlabels haben, werden sie meist mit Hindsight-Relabeling kombiniert: Jedes Fenster der Aufzeichnung lässt sich als Demonstration dafür behandeln, wie man den Zustand an seinem Ende erreicht, was unbeschriftetes Spiel in Trainingsdaten für zielkonditionierte Policies verwandelt. Natürlichsprachliche Beschreibungen können nachträglich einem Teil der Fenster hinzugefügt werden, um sprachkonditionierte Policies zu trainieren.

Spieldaten haben auch Schwächen. Das Verhalten ist multimodal, da derselbe Start und dasselbe Ziel auf verschiedene Weise verbunden sein können, was Verfahren zu Policies mit latenten Variablen oder diffusionsbasierten Policies drängt, die mehrere Modi darstellen können. Die Abdeckung hängt vom Bediener ab, sodass selten besuchte Zustände schlecht gelernt bleiben. Manche Verfahren zeichnen Menschen auf, die mit ihren eigenen Händen spielen, was schneller ist als Teleoperation, und nutzen diese Daten, um High-Level-Pläne zu lernen, die dann eine roboterspezifische Policy ausführt, die auf einer kleineren Menge teleoperierter Daten trainiert wurde.

Warum es wichtig ist

Für jede Fertigkeit aufgabenspezifische Demonstrationen zu sammeln, skaliert nicht. Spieldaten lassen eine Sitzung freier Interaktion viele Aufgaben zugleich unterstützen und sind zu einer gängigen Grundlage für zielkonditioniertes, sprachkonditioniertes Imitationslernen und Imitationslernen mit langem Horizont geworden.

Wichtige Anwendungen

  • Training zielkonditionierter Manipulations-Policies
  • Sprachkonditioniertes Imitationslernen mit nachträglicher Annotation
  • Aufgaben mit langem Horizont, die durch Verketten von Teilzielen entstehen
  • Vortraining von Repräsentationen latenter Pläne oder Fertigkeiten
  • Benchmarks für Multitask-Manipulation auf dem Tisch

In der Praxis

Ein Labor richtet einen küchenähnlichen Tischaufbau mit Schublade, Schrank, Blöcken und Lichtschalter ein, und ein Bediener teleoperiert in langen Sitzungen ohne Anweisungen einen Roboterarm mit einem VR-Controller und interagiert mit allem, was er wählt. Die Aufzeichnungen von Kamerabildern, Propriozeption und Aktionen werden beim Training in kurze Fenster geschnitten, und jedes wird mit seinem letzten Bild als Ziel gelabelt. Eine zielkonditionierte Policy lernt, jedes Zielbild zu erreichen, und ein kleiner Teil der Fenster wird später mit Anweisungen wie „öffne die Schublade“ annotiert, um Sprachbefehle zu ermöglichen. Zur Testzeit verkettet der Roboter mehrere Ziele, um eine längere Aufgabe zu erledigen, etwa die Schublade öffnen, einen Block hineinlegen und sie schließen.

Häufige Missverständnisse

  • Spieldaten sind zufällige Exploration — sie sind zielgerichtetes menschliches Verhalten, nur nicht an eine vordefinierte Aufgabe gebunden
  • Spieldaten brauchen Aufgabenlabels, um nützlich zu sein — Hindsight-Relabeling macht ohne Labels aus jedem Abschnitt ein Beispiel für das Erreichen eines Ziels
  • Spieldaten ersetzen Aufgabendemonstrationen vollständig — die Abdeckung hängt vom Bediener ab, daher können seltene oder präzise Verhaltensweisen weiterhin gezielte Demonstrationen erfordern

Wer das wissen sollte

  • Forschende im Imitationslernen
  • Teams für Roboterdatenerhebung und Teleoperation
  • Ingenieure, die sprachkonditionierte Manipulations-Policies trainieren
  • Forschende, die an Manipulation mit langem Horizont arbeiten

Verwandte Technologien

  • Hindsight-Relabeling (Hindsight Relabeling)
  • Learning from Play (Play-LMP)
  • VR-Teleoperation (VR Teleoperation)
  • CALVIN-Benchmark (CALVIN Benchmark)
  • Bedingte variationelle Autoencoder (Conditional Variational Autoencoders)

Verwandte Begriffe

  • Goal-Conditioned Policy
  • Imitation Learning
  • Teleoperation
  • Behavior Cloning
  • Visuomotor Policy

Verwandte Projekte

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • OpenPI: Physical Intelligence VLA foundation models for general robot control
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • SO-101 Open Robot Arm: 6-DOF robot arm for teleoperation and AI robotics research
  • XLeRobot: Practical dual-arm mobile home robot for $660 with <4hrs assembly
  • DimOS: Python robotics runtime with agents, SLAM and teleop, no ROS required

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.