Action Chunking

• Detto anche: action chunks, chunked action prediction, action sequence prediction
• Categoria: Learning & autonomy › Learning from demonstration
• Tag: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

Un'impostazione della policy in cui un robot predice in una volta una breve sequenza di azioni future e ne esegue diverse prima di interrogare di nuovo la policy, invece di predire un'azione per passo.

Definizione

Action chunking è una tecnica di apprendimento robotico in cui una policy produce, a partire da una singola osservazione, un blocco, o chunk, di azioni future consecutive invece di una singola azione per il passo temporale corrente. Il robot esegue poi una parte o tutto il chunk prima che la policy venga interrogata di nuovo. L'idea si è diffusa nell'apprendimento per imitazione per robot con la policy Action Chunking with Transformers (ACT), presentata da Zhao, Kumar, Levine e Finn nel 2023 insieme al sistema di teleoperazione bimanuale ALOHA.

La motivazione principale è l'errore composto. Una policy addestrata con behavior cloning che predice un'azione alla volta può allontanarsi leggermente dagli stati dimostrati, e ogni piccolo errore la spinge più avanti in situazioni che i dati di addestramento non hanno mai coperto. Predire un chunk accorcia l'orizzonte effettivo del compito: molti passi di controllo diventano un numero minore di decisioni a livello di chunk, quindi ci sono meno occasioni perché gli errori si accumulino.

Il chunking aiuta anche con le dimostrazioni umane, che spesso non sono markoviane. Gli operatori fanno pause, esitano o seguono abitudini che dipendono da ciò che hanno fatto un attimo prima, non solo da ciò che la telecamera mostra in quel momento. Un modello che produce un segmento coerente di più passi può riprodurre questi schemi correlati nel tempo con più fedeltà di uno costretto a decidere ogni passo isolatamente.

Esiste un compromesso tra fluidità e reattività: un robot che esegue un chunk intero non può reagire a nuove osservazioni finché il chunk non finisce, un problema quando gli oggetti si muovono o il contatto è incerto. Rimedi comuni sono eseguire solo la prima parte di ogni chunk prima di predire di nuovo, come fanno tipicamente le diffusion policy in un ciclo a orizzonte mobile, e il temporal ensembling, in cui le predizioni sovrapposte per lo stesso passo temporale provenienti da chunk successivi vengono mediate con dei pesi. La lunghezza del chunk è un parametro di taratura che dipende dalla frequenza di controllo e dalla dinamica del compito.

L'action chunking compare oggi in molte classi di policy, tra cui le policy basate su transformer, le diffusion policy e i modelli vision-language-action, e interagisce con il modo in cui le azioni sono rappresentate, per esempio quando sequenze di azioni continue vengono convertite in token discreti.

Perché è importante

L'action chunking è una delle scelte progettuali che hanno reso affidabile l'apprendimento per imitazione da un numero modesto di dimostrazioni umane su compiti di manipolazione fine. Riduce gli errori composti e produce movimenti più fluidi, ed è oggi un componente predefinito di molte policy visuomotorie e di molti foundation model per la robotica.

Applicazioni principali

• Manipolazione bimanuale — apprendere compiti fini a due bracci da dimostrazioni teleoperate
• Policy visuomotorie — predire sequenze di azioni fluide da immagini della telecamera e stati dei giunti
• Diffusion policy — generare sequenze di azioni a più passi eseguite in un ciclo a orizzonte mobile
• Modelli vision-language-action — produrre segmenti di azioni da istruzioni in linguaggio naturale e immagini
• Tokenizzazione delle azioni — comprimere sequenze di azioni in token discreti per policy basate su transformer

In pratica

Un team che addestra una policy di manipolazione da dimostrazioni teleoperate in genere registra le posizioni dei giunti o le pose dell'end effector a una frequenza di controllo fissa, poi addestra la policy a predire le prossime azioni a partire dalle immagini correnti della telecamera e dagli stati dei giunti. In esercizio, il controllore esegue la policy, esegue una parte del chunk predetto e richiama la policy, spesso miscelando le predizioni sovrapposte per evitare scatti ai confini tra chunk. Gli ingegneri regolano la lunghezza del chunk e il numero di azioni eseguite per ogni interrogazione osservando due modi di guasto: movimento tremolante o esitante quando i chunk sono troppo corti, e reazioni lente ai disturbi quando sono troppo lunghi.

Idee sbagliate comuni

• Action chunking significa far funzionare il robot ad anello aperto — la maggior parte delle implementazioni interroga di nuovo la policy prima che un chunk finisca, mantenendo il sistema ad anello chiuso a livello di chunk
• Chunk più lunghi sono sempre meglio — i chunk lunghi riducono l'errore composto ma rendono il robot più lento a reagire a disturbi e oggetti in movimento
• L'action chunking è specifico di ACT — la stessa idea è usata nelle diffusion policy, nelle policy autoregressive basate su token e in molti modelli vision-language-action

Chi dovrebbe saperlo

• Ricercatori di apprendimento robotico che addestrano policy da dimostrazioni
• Ingegneri che mettono in esercizio policy visuomotorie su manipolatori
• Team che costruiscono pipeline di raccolta dati tramite teleoperazione
• Studenti che imparano i metodi di apprendimento per imitazione

Tecnologie correlate

• Action Chunking with Transformers (ACT)
• Diffusion Policy
• Behavior Cloning
• Modelli vision-language-action (Vision-Language-Action Models)
• Temporal Ensembling
• ALOHA

Termini correlati

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

Progetti correlati

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Video

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics