Action Chunking

• Aussi appelé: action chunks, chunked action prediction, action sequence prediction
• Catégorie: Learning & autonomy › Learning from demonstration
• Mots-clés: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

Une conception de politique dans laquelle un robot prédit d'un coup une courte séquence d'actions futures et en exécute plusieurs avant d'interroger à nouveau la politique, au lieu de prédire une action par pas.

Définition

Action chunking : technique d'apprentissage robotique dans laquelle une politique produit, à partir d'une seule observation, un bloc, ou chunk, d'actions futures consécutives plutôt qu'une seule action pour le pas de temps courant. Le robot exécute ensuite tout ou partie de ce chunk avant que la politique soit à nouveau interrogée. L'idée a été largement popularisée dans l'apprentissage par imitation robotique par la politique Action Chunking with Transformers (ACT), présentée par Zhao, Kumar, Levine et Finn en 2023 avec le système de téléopération bimanuelle ALOHA.

La principale motivation est l'accumulation des erreurs. Une politique entraînée par clonage comportemental qui prédit une action à la fois peut s'écarter légèrement des états démontrés, et chaque petite erreur l'entraîne plus loin dans des situations que les données d'entraînement n'ont jamais couvertes. Prédire un chunk raccourcit l'horizon effectif de la tâche : de nombreux pas de commande deviennent un plus petit nombre de décisions au niveau des chunks, ce qui laisse moins d'occasions aux erreurs de s'accumuler.

Le chunking aide aussi avec les démonstrations humaines, qui sont souvent non markoviennes. Les opérateurs marquent des pauses, hésitent ou suivent des habitudes qui dépendent de ce qu'ils ont fait un instant plus tôt, et pas seulement de ce que montre la caméra. Un modèle qui produit un segment cohérent de plusieurs pas peut reproduire ces motifs corrélés dans le temps plus fidèlement qu'un modèle contraint de décider chaque pas isolément.

Il existe un compromis entre fluidité et réactivité : un robot qui exécute un chunk complet ne peut pas réagir à de nouvelles observations avant sa fin, ce qui pose problème lorsque des objets bougent ou que le contact est incertain. Les remèdes courants consistent à n'exécuter que la première partie de chaque chunk avant de prédire à nouveau, comme le font généralement les politiques de diffusion dans une boucle à horizon glissant, et le temporal ensembling, où les prédictions qui se recouvrent pour un même pas de temps, issues de chunks successifs, sont moyennées avec des poids. La longueur des chunks est un paramètre de réglage qui dépend de la fréquence de commande et de la dynamique de la tâche.

L'action chunking apparaît désormais dans de nombreuses classes de politiques, dont les politiques à base de transformer, les politiques de diffusion et les modèles vision-langage-action, et il interagit avec la manière dont les actions sont représentées, par exemple lorsque des séquences d'actions continues sont converties en tokens discrets.

Pourquoi c'est important

L'action chunking est l'un des choix de conception qui ont permis à l'apprentissage par imitation à partir d'un nombre modeste de démonstrations humaines de fonctionner de façon fiable sur des tâches de manipulation fines. Il réduit l'accumulation des erreurs, produit des mouvements plus fluides et constitue désormais un composant par défaut de nombreuses politiques visuomotrices et de nombreux modèles de fondation pour la robotique.

Applications principales

• Manipulation bimanuelle — apprentissage de tâches fines à deux bras à partir de démonstrations téléopérées
• Politiques visuomotrices — prédiction de séquences d'actions fluides à partir d'images de caméra et d'états articulaires
• Politiques de diffusion — génération de séquences d'actions de plusieurs pas exécutées dans une boucle à horizon glissant
• Modèles vision-langage-action — production de segments d'actions à partir d'instructions en langage naturel et d'images
• Tokenisation des actions — compression de séquences d'actions en tokens discrets pour des politiques à base de transformer

En pratique

Une équipe qui entraîne une politique de manipulation à partir de démonstrations téléopérées enregistre généralement les positions articulaires ou les poses de l'effecteur final à une fréquence de commande fixe, puis entraîne la politique à prédire les actions suivantes à partir des images de caméra et des états articulaires courants. Au déploiement, le contrôleur exécute la politique, exécute une partie du chunk prédit et rappelle la politique, en mélangeant souvent les prédictions qui se recouvrent pour éviter les à-coups aux frontières des chunks. Les ingénieurs règlent la longueur des chunks et le nombre d'actions exécutées par requête en surveillant deux modes de défaillance : des mouvements saccadés ou hésitants lorsque les chunks sont trop courts, et des réactions lentes aux perturbations lorsqu'ils sont trop longs.

Idées reçues

• L'action chunking signifie faire fonctionner le robot en boucle ouverte — la plupart des implémentations interrogent à nouveau la politique avant la fin d'un chunk, ce qui maintient le système en boucle fermée au niveau des chunks
• Des chunks plus longs sont toujours meilleurs — les chunks longs réduisent l'accumulation des erreurs mais rendent le robot plus lent à réagir aux perturbations et aux objets en mouvement
• L'action chunking est propre à ACT — la même idée est utilisée dans les politiques de diffusion, les politiques autorégressives à base de tokens et de nombreux modèles vision-langage-action

Qui devrait le savoir

• Chercheurs en apprentissage robotique qui entraînent des politiques à partir de démonstrations
• Ingénieurs qui déploient des politiques visuomotrices sur des bras manipulateurs
• Équipes qui construisent des pipelines de collecte de données par téléopération
• Étudiants qui apprennent les méthodes d'apprentissage par imitation

Technologies associées

• Action Chunking with Transformers (ACT)
• Diffusion Policy
• Clonage comportemental (Behavior Cloning)
• Modèles vision-langage-action (Vision-Language-Action Models)
• Temporal ensembling (Temporal Ensembling)
• ALOHA

Termes associés

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

Projets associés

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vidéos

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics