Open Source Robotics

Eine kuratierte Sammlung hochwertiger Open-Source-Robotikprojekte, Werkzeuge und Software für die Robotik-Community.

Loco-Manipulation

  • Auch genannt: loco manipulation, locomanipulation, whole-body loco-manipulation, legged mobile manipulation
  • Kategorie: Control › Locomotion control
  • Schlagwörter: humanoid, legged-robots, whole-body-control, manipulation, locomotion, mobile-manipulation

Der koordinierte Einsatz der Fortbewegungs- und Manipulationsfähigkeiten eines Roboters, bei dem Körperbewegung und Objekthandhabung gemeinsam geplant und geregelt werden statt als getrennte Schritte.

Definition

Loco-Manipulation bezeichnet Aufgaben, bei denen ein Roboter seinen Körper durch die Umgebung bewegen und gleichzeitig, oder in eng gekoppelter Abfolge, physisch mit Objekten interagieren muss. Beispiele sind ein Humanoider, der eine Kiste eine Rampe hinaufträgt, ein Vierbeiner mit Arm, der eine Tür öffnet und hindurchschreitet, oder ein Laufroboter, der einen Wagen schiebt. Der Begriff verbindet Lokomotion und Manipulation, um zu betonen, dass beide nicht unabhängig voneinander behandelt werden können, wenn die Basis des Roboters mobil ist und sich seine Kontakte mit der Welt ständig ändern.

Die klassische mobile Manipulation entkoppelt das Problem oft: Basis an einen Ort fahren, anhalten, dann den Arm benutzen. Loco-Manipulation behandelt stattdessen den ganzen Körper als ein System. Kräfte, die von den Händen oder dem Endeffektor ausgeübt werden, beeinflussen Gleichgewicht, Fußplatzierung und Basisbewegung, und die Bewegung der Basis verändert ihrerseits, was die Arme erreichen können. Ein Humanoider, der ein schweres Objekt hebt, muss seinen Schwerpunkt verlagern; ein Vierbeiner, der mit einem Vorderbein einen Knopf drückt, verliert dieses Bein als Stütze.

Die Ansätze fallen in zwei große Familien. Modellbasierte Methoden nutzen Ganzkörperregelung und Optimierung, etwa modellprädiktive Regelung über Kontaktabfolgen und Zentroidaldynamik, und lösen Aufgaben für Füße, Hände und Rumpf gemeinsam unter Reibungs- und Drehmomentgrenzen. Lernbasierte Methoden trainieren Policies mit Reinforcement Learning in der Simulation oder lernen aus menschlichen Bewegungsdaten und übertragen dabei oft menschliche Demonstrationen per Retargeting auf den Körper des Roboters. Hybride Systeme kombinieren eine gelernte Lokomotions-Policy mit Planern oder modellbasierten Reglern für die Manipulationsziele.

Zu den zentralen Schwierigkeiten gehören die Planung von Kontaktabfolgen, die sowohl die Umgebung als auch das manipulierte Objekt einbeziehen, die Regelung von Interaktionskräften bei gleichzeitigem Gleichgewicht und die Beschaffung ausreichender Trainingsdaten, die realistische Mensch-Objekt-Interaktion erfassen. Plattformen für diese Arbeit sind humanoide Roboter, mit Armen ausgestattete Vierbeiner und Rad-Bein-Roboter.

Warum es wichtig ist

Viele nützliche Aufgaben in Wohnungen, Lagerhallen und Katastrophengebieten verlangen, dass ein Roboter trägt, schiebt, öffnet oder klettert, während er sich bewegt, und nicht nur läuft oder nur greift. Loco-Manipulation ist die Fähigkeit, die Lauf- und humanoide Roboter von mobilen Plattformen zu Maschinen macht, die in für Menschen gebauten Räumen körperliche Arbeit verrichten können.

Wichtige Anwendungen

  • Humanoide Roboter, die Objekte im Gehen tragen, heben und abstellen
  • Vierbeiner mit Armen, die Türen öffnen, Knöpfe drücken und Gegenstände holen
  • Schieben und Ziehen von Wagen, Rollwagen und schweren Objekten
  • Hinaufklettern auf Möbel, Treppen und andere Szenenelemente und Interaktion mit ihnen
  • Inspektions- und Eingriffsaufgaben an Industrie- oder Katastrophenstandorten

In der Praxis

Ein Team, das an einem Humanoiden oder einem Vierbeiner mit Arm arbeitet, geht meist von einem zuverlässigen Lokomotionsregler aus und fügt ihm dann Manipulationsziele hinzu, entweder als zusätzliche Aufgaben in einem Ganzkörperregler oder als zusätzliche Befehle und Belohnungen für eine gelernte Policy. In der Simulation randomisiert es Objektmasse, Reibung und Kontaktpositionen, damit die Policy lernt, unter unerwarteten Lasten im Gleichgewicht zu bleiben. Menschliche Motion-Capture- oder Teleoperationsdaten werden oft per Retargeting auf den Roboter übertragen, um Referenzbewegungen für Interaktionen wie das Aufheben von Kisten oder das Hinsetzen auf Möbel zu liefern. Auf der Hardware testen Ingenieure mit verschiedenen Nutzlasten und überwachen Gelenkmomente und Fußkontaktzustände, um zu sehen, wo der Regler Gleichgewicht gegen Aufgabenleistung abwägt.

Häufige Missverständnisse

  • Loco-Manipulation ist nur eine mobile Basis mit angeschraubtem Arm — das bestimmende Merkmal ist, dass Körperbewegung und Interaktionskräfte gekoppelt sind und gemeinsam geregelt werden müssen
  • Gute Lokomotions- und gute Manipulationsregler lassen sich einfach kombinieren — Kräfte aus der Manipulation stören das Gleichgewicht und erfordern eine koordinierte Ganzkörperregelung oder gemeinsames Training
  • Es betrifft nur Humanoide — Vierbeiner mit Armen, Rad-Bein-Roboter und Roboter, die mit ihren Beinen manipulieren, werden alle unter demselben Begriff erforscht

Wer das wissen sollte

  • Forschende an humanoiden und Laufrobotern
  • Regelungstechniker, die an Ganzkörperregelung arbeiten
  • Teams im Roboterlernen, die Policies für mobile Manipulation trainieren
  • Entwickler, die Arme in Vierbeiner-Plattformen integrieren

Verwandte Technologien

  • Ganzkörperregelung (Whole-Body Control)
  • Modellprädiktive Regelung (Model Predictive Control)
  • Reinforcement Learning
  • Motion Retargeting
  • Zentroidaldynamik (Centroidal Dynamics)
  • Kontaktimplizite Optimierung (Contact-Implicit Optimization)

Verwandte Begriffe

  • Whole-Body Control
  • Locomotion
  • Humanoid Robot
  • Quadruped
  • Dexterous Manipulation

Verwandte Projekte

  • LeRobot: HuggingFace ML library for real-world robotics in PyTorch
  • Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
  • NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
  • OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
  • Open Duck Mini V2: An open-source mini duck robot you 3D-print and build, inspired by Disney's BDX droid
  • Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Diese Website benötigt JavaScript. Bitte aktivieren Sie JavaScript, um unsere Open-Source-Robotikprojekte zu erkunden.