Perceptive pedipulation with local obstacle avoidance

Autoren: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024

Lizenzen

Open Access
Paper: CC BY 4.0

Alles Folgende stützt sich auf das vollständige Paper unter seiner Lizenz CC BY 4.0; die Abbildung wird mit Nennung der Autoren gezeigt.

Kurz gesagt

End-to-End-RL-Policy für ANYmal, die einem Fußpositionsbefehl folgt und dabei mit dem ganzen Körper Hindernissen ausweicht, mithilfe eines 2,5D-Höhenscans und eines Schalters, der bewussten Fußkontakt erlaubt.

Warum es wichtig ist

Die Steuerschnittstelle bleibt ein einzelner Fußpositionsbefehl, sodass ein menschlicher Bediener oder ein übergeordneter Planer sie in der Nähe von Hindernissen nutzen kann, ohne eine kollisionsfreie Bewegung für den ganzen Körper zu planen. Sie verleiht einem Vierbeiner Manipulationsfähigkeiten ohne eigenen Arm, der nach Angabe der Autoren Masse und Komplexität hinzufügt und die Nutzlastkapazität verringert.

Problem

Frühere Pedipulations-Policies folgen einem Fußpositionsbefehl allein mithilfe der Propriozeption, sodass sie Hindernissen nicht ausweichen können und mit allem im Weg kollidieren. Einen hindernisbewussten Planer über eine blinde Policy zu setzen, lässt den restlichen Körper weiterhin kollidieren, und die großen Sicherheitsabstände, die nötig sind, um dies zu verhindern, schließen Arbeit in engen Räumen aus.

Lösungsansatz

Eine einzige RL-Policy, trainiert in NVIDIA Isaac Lab, erhält Propriozeption, einen Höhenscan von 2,4 m × 1,6 m mit 0,1 m Auflösung und einen Fußpositionsbefehl und gibt Versätze der Gelenkpositionen aus. Das Training läuft in drei Stufen: hindernisfreie Pedipulation mit einem Curriculum im Befehlsraum, dann bewegliche quaderförmige Hindernisse in fünf Szenarien mit Strafen sowohl für Kontaktereignisse als auch für Kontaktkräfte, dann zusätzliches Rauschen in der Höhenkarte für den Sim-to-Real-Transfer. Ein boolescher Kontaktschalter entscheidet, ob Kontakt mit dem rechten Vorderfuß bestraft wird, sodass dieselbe Policy einem Hindernis entweder ausweichen oder es schieben kann.

Wichtigste Erkenntnisse

Sowohl Kontaktereignisse als auch die Größe der Kontaktkräfte zu bestrafen, blockiert zwei Schlupflöcher: ein Hindernis mit minimaler Kraft zu schieben und es mit einem kurzen, kraftvollen Stoß wegzustoßen.
Fünf statische Trainingsszenarien mit Quadern reichten aus, damit die Policy ungesehenen Formen und sich bewegenden Hindernissen ausweicht; die Autoren folgern, dass sie jede belegte Zelle des Höhenscans als zu meidende Raumsäule behandelt, statt Objektformen zu erkennen.
Bewegliche statt statischer Geländehindernisse kosten Trainingszeit, lassen die Policy aber lernen, Objekte zu schieben, wenn der Kontaktschalter dies erlaubt.
Zuerst hindernisfreie Pedipulation zu trainieren und Hindernisse danach hinzuzufügen, beschleunigt das Training.
Die Policy folgt Punkten, nicht Trajektorien, daher kann ein Greifen hinter den Rücken sie in einer Pose zurücklassen, die sich schlecht eignet, um dem Rest eines Pfades zu folgen.

Hauptergebnisse

Folgen im freien Raum über 1024 gesampelte Befehle: 0,057 m mittlerer Fehler mit dem Kontaktschalter auf 0 (ausweichen) und 0,047 m mit ihm auf 1 (Kontakt erlaubt).
Greifen um eine Ecke in der Simulation: Die frühere blinde Policy stieß an die Ecke und stürzte; die wahrnehmende Policy nahm einen längeren Weg und vermied Kollisionen.
Simulationstests mit einem einzelnen Hindernis: keine Selbst- oder Umgebungskollisionen in allen vier Tests; bei einem abgesenkten Hindernis ging der Fuß darüber statt darum herum.
Vier Hindernisse: Bei einer Lücke von 1,3 m hörte die Policy auf, ihre Basis zu drehen, und griff hinter ihren Rücken, mit einigen Kollisionen geringer Kraft am hinteren Teil der Basis; Befehlspfade im Uhrzeigersinn verschlechterten das Folgen.
Auf der ANYmal-Hardware ging der Fuß um einen Pappkarton herum, während der Befehl durch ihn hindurchführte (fünfmal wiederholt), und um eine runde Metalltonne, die im Training nicht vorkam.
Kontaktschalter auf der Hardware: Mit dem Schalter auf 1 schob der Roboter das Hindernis um, um den Befehl zu erreichen, und endete mit 0,073 m Folgefehler.

Einschränkungen

Die Autoren geben an, dass der Regler einige Grenzfälle schlecht behandelt, darunter Hindernisse direkt unter der Basis und enge Räume, die im Training nicht vorkamen.
Der 2,5D-Höhenscan bildet nur Strukturen ab, die in eine 2,5D-Karte passen und größer als die Rasterweite sind; die Autoren fordern eine 3D-Darstellung.
Seitlich kommenden dynamischen Hindernissen wurde nur auf der rechten Seite des Roboters ausgewichen, und die Reaktionsgeschwindigkeit ist durch die Aktualisierungsrate der Höhenkarte begrenzt.
In der Simulation blieb die Policy manchmal stecken, wegen ihres begrenzten Wahrnehmungsfelds oder fehlenden Platzes, um die Basis zu drehen.
Kontakt mit dem pedipulierenden Fuß zu vermeiden, verringert die Folgegenauigkeit im freien Raum leicht (0,057 m gegenüber 0,047 m).

Wirkung auf das Fachgebiet

Finalist für den Humanoids 2024 Best Interactive Presentation Award, mit 12 Zitierungen. Das Paper verlinkt weder Code noch trainierte Policies oder Daten.

Zusammenfassung

Pedipulation nutzt die Füße von Laufrobotern für mobile Manipulation und macht eigene Roboterarme überflüssig. Während frühere Arbeiten blinde und aufgabenspezifische Pedipulationsfähigkeiten gezeigt haben, berücksichtigen sie statische und dynamische Hindernisse in der Umgebung nicht. Um diese Einschränkung zu beheben, stellen wir einen auf bestärkendem Lernen basierenden Ansatz vor, um eine hindernisbewusste Ganzkörper-Policy zu trainieren, die Fußpositionsbefehlen folgt und gleichzeitig Hindernissen ausweicht. Obwohl die Policy in der Simulation nur in fünf verschiedenen statischen Szenarien trainiert wird, zeigen wir, dass sie auf unbekannte Umgebungen mit unterschiedlicher Anzahl und Art von Hindernissen generalisiert. Wir analysieren die Leistung unserer Methode in einer Reihe von Simulationsexperimenten und setzen die gelernte Policy erfolgreich auf dem vierbeinigen Roboter ANYmal ein, wobei wir ihre Fähigkeit zeigen, Fußbefehlen zu folgen und dabei um statische und dynamische Hindernisse herum zu navigieren.

Open Source Robotics