Action Chunking

Auch genannt: action chunks, chunked action prediction, action sequence prediction
Kategorie: Learning & autonomy › Learning from demonstration
Schlagwörter: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

Ein Policy-Entwurf, bei dem ein Roboter eine kurze Folge zukünftiger Aktionen auf einmal vorhersagt und mehrere davon ausführt, bevor er die Policy erneut abfragt, statt pro Schritt eine Aktion vorherzusagen.

Definition

Action Chunking ist eine Technik des Roboterlernens, bei der eine Policy aus einer einzigen Beobachtung einen Block, einen sogenannten Chunk, aufeinanderfolgender zukünftiger Aktionen ausgibt statt einer einzelnen Aktion für den aktuellen Zeitschritt. Der Roboter führt dann einen Teil dieses Chunks oder den ganzen aus, bevor die Policy erneut abgefragt wird. Breite Aufmerksamkeit im robotischen Imitationslernen erhielt die Idee durch die Policy Action Chunking with Transformers (ACT), die Zhao, Kumar, Levine und Finn 2023 zusammen mit dem bimanuellen Teleoperationssystem ALOHA vorstellten.

Die Hauptmotivation ist der sich aufschaukelnde Fehler. Eine per Behavior Cloning trainierte Policy, die jeweils eine Aktion vorhersagt, kann leicht von den demonstrierten Zuständen abdriften, und jeder kleine Fehler bringt sie weiter in Situationen, die die Trainingsdaten nie abgedeckt haben. Die Vorhersage eines Chunks verkürzt den effektiven Horizont der Aufgabe: Aus vielen Regelschritten wird eine kleinere Zahl von Entscheidungen auf Chunk-Ebene, sodass Fehler weniger Gelegenheiten haben, sich aufzusummieren.

Chunking hilft auch bei menschlichen Demonstrationen, die oft nicht markowsch sind. Bediener halten inne, zögern oder folgen Gewohnheiten, die davon abhängen, was sie einen Moment zuvor getan haben, und nicht nur davon, was die Kamera gerade zeigt. Ein Modell, das einen zusammenhängenden mehrschrittigen Abschnitt ausgibt, kann solche zeitlich korrelierten Muster getreuer wiedergeben als eines, das jeden Schritt isoliert entscheiden muss.

Es gibt einen Zielkonflikt zwischen Glätte und Reaktionsfähigkeit: Ein Roboter, der einen vollständigen Chunk ausführt, kann erst an dessen Ende auf neue Beobachtungen reagieren, ein Problem, wenn sich Objekte bewegen oder der Kontakt unsicher ist. Übliche Abhilfen sind, nur den ersten Teil jedes Chunks auszuführen und dann neu vorherzusagen, wie es Diffusion Policies typischerweise in einer Receding-Horizon-Schleife tun, sowie Temporal Ensembling, bei dem sich überlappende Vorhersagen aufeinanderfolgender Chunks für denselben Zeitschritt gewichtet gemittelt werden. Die Chunk-Länge ist ein Einstellparameter, der von Regelrate und Aufgabendynamik abhängt.

Action Chunking findet sich heute in vielen Policy-Klassen, darunter Transformer-Policies, Diffusion Policies und Vision-Language-Action-Modelle, und es wirkt mit der Art zusammen, wie Aktionen dargestellt werden, etwa wenn kontinuierliche Aktionssequenzen in diskrete Tokens umgewandelt werden.

Warum es wichtig ist

Action Chunking ist eine der Entwurfsentscheidungen, durch die Imitationslernen aus einer überschaubaren Zahl menschlicher Demonstrationen bei feinmotorischen Manipulationsaufgaben zuverlässig funktioniert. Es verringert aufschaukelnde Fehler, erzeugt glattere Bewegungen und ist heute eine Standardkomponente vieler visuomotorischer Policies und Foundation Models für Roboter.

Wichtige Anwendungen

Bimanuelle Manipulation — Erlernen feinmotorischer Zweiarmaufgaben aus teleoperierten Demonstrationen
Visuomotorische Policies — Vorhersage glatter Aktionssequenzen aus Kamerabildern und Gelenkzuständen
Diffusion Policies — Erzeugung mehrschrittiger Aktionssequenzen, die in einer Receding-Horizon-Schleife ausgeführt werden
Vision-Language-Action-Modelle — Ausgabe von Aktionsabschnitten aus Sprachanweisungen und Bildern
Aktions-Tokenisierung — Komprimierung von Aktionssequenzen in diskrete Tokens für Transformer-basierte Policies

In der Praxis

Ein Team, das eine Manipulations-Policy aus teleoperierten Demonstrationen trainiert, zeichnet typischerweise Gelenkpositionen oder Endeffektor-Posen mit einer festen Regelrate auf und trainiert die Policy dann darauf, die nächsten Aktionen aus den aktuellen Kamerabildern und Gelenkzuständen vorherzusagen. Im Einsatz führt die Steuerung die Policy aus, führt einen Teil des vorhergesagten Chunks aus und ruft die Policy erneut auf, wobei sich überlappende Vorhersagen oft überblendet werden, um Rucke an den Chunk-Grenzen zu vermeiden. Ingenieure stellen die Chunk-Länge und die Zahl der pro Abfrage ausgeführten Aktionen ein, indem sie auf zwei Fehlerbilder achten: zittrige oder zögerliche Bewegungen, wenn Chunks zu kurz sind, und langsame Reaktionen auf Störungen, wenn Chunks zu lang sind.

Häufige Missverständnisse

Action Chunking bedeutet, den Roboter in offener Kette zu betreiben — die meisten Implementierungen fragen die Policy erneut ab, bevor ein Chunk endet, sodass das System auf Chunk-Ebene im geschlossenen Regelkreis bleibt
Längere Chunks sind immer besser — lange Chunks verringern aufschaukelnde Fehler, lassen den Roboter aber langsamer auf Störungen und bewegte Objekte reagieren
Action Chunking ist spezifisch für ACT — dieselbe Idee wird in Diffusion Policies, tokenbasierten autoregressiven Policies und vielen Vision-Language-Action-Modellen verwendet

Wer das wissen sollte

Forschende im Roboterlernen, die Policies aus Demonstrationen trainieren
Ingenieure, die visuomotorische Policies auf Manipulatoren einsetzen
Teams, die Pipelines zur Erfassung von Teleoperationsdaten aufbauen
Studierende, die Methoden des Imitationslernens lernen

Videos

RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics

Open Source Robotics