Action Chunking

• Também chamado: action chunks, chunked action prediction, action sequence prediction
• Categoria: Learning & autonomy › Learning from demonstration
• Tags: imitation-learning, robot-learning, visuomotor-policy, manipulation, behavior-cloning, action-representation

Um projeto de política em que o robô prevê de uma vez uma sequência curta de ações futuras e executa várias delas antes de consultar a política novamente, em vez de prever uma ação por passo.

Definição

Chunking de ações (action chunking) é uma técnica de aprendizado de robôs em que uma política produz, a partir de uma única observação, um bloco, ou chunk, de ações futuras consecutivas, em vez de uma única ação para o passo de tempo atual. O robô então executa parte ou todo esse chunk antes de a política ser consultada novamente. A ideia ganhou ampla atenção no aprendizado por imitação para robôs com a política Action Chunking with Transformers (ACT), apresentada por Zhao, Kumar, Levine e Finn em 2023 junto com o sistema de teleoperação bimanual ALOHA.

A principal motivação é o erro composto. Uma política treinada por clonagem de comportamento que prevê uma ação por vez pode se afastar ligeiramente dos estados demonstrados, e cada pequeno erro a leva mais longe, para situações que os dados de treinamento nunca cobriram. Prever um chunk encurta o horizonte efetivo da tarefa: muitos passos de controle viram um número menor de decisões no nível do chunk, então há menos oportunidades para os erros se acumularem.

O chunking também ajuda com demonstrações humanas, que muitas vezes não são markovianas. Operadores fazem pausas, hesitam ou seguem hábitos que dependem do que fizeram um instante antes, e não só do que a câmera mostra no momento. Um modelo que produz um segmento coerente de vários passos consegue reproduzir esses padrões correlacionados no tempo com mais fidelidade do que um obrigado a decidir cada passo isoladamente.

Há um compromisso entre suavidade e reatividade: um robô que executa um chunk inteiro não consegue reagir a novas observações até que ele termine, um problema quando objetos se movem ou o contato é incerto. Soluções comuns incluem executar apenas a primeira parte de cada chunk antes de prever novamente, como as políticas de difusão costumam fazer em um laço de horizonte deslizante, e o ensemble temporal (temporal ensembling), em que previsões sobrepostas para o mesmo passo de tempo vindas de chunks sucessivos são combinadas por média ponderada. O comprimento do chunk é um parâmetro de ajuste que depende da frequência de controle e da dinâmica da tarefa.

O chunking de ações aparece hoje em muitas classes de políticas, incluindo políticas baseadas em transformadores, políticas de difusão e modelos vision-language-action, e interage com a forma como as ações são representadas, por exemplo quando sequências contínuas de ações são convertidas em tokens discretos.

Por que importa

O chunking de ações é uma das escolhas de projeto que fizeram o aprendizado por imitação a partir de um número modesto de demonstrações humanas funcionar de forma confiável em tarefas de manipulação refinadas. Ele reduz os erros compostos e produz movimentos mais suaves, e hoje é um componente padrão de muitas políticas visuomotoras e modelos de fundação para robôs.

Principais aplicações

• Manipulação bimanual — aprender tarefas refinadas com dois braços a partir de demonstrações teleoperadas
• Políticas visuomotoras — prever sequências de ações suaves a partir de imagens de câmera e estados das juntas
• Políticas de difusão — gerar sequências de ações de vários passos executadas em um laço de horizonte deslizante
• Modelos vision-language-action — produzir segmentos de ações a partir de instruções em linguagem e imagens
• Tokenização de ações — comprimir sequências de ações em tokens discretos para políticas baseadas em transformadores

Na prática

Uma equipe que treina uma política de manipulação a partir de demonstrações teleoperadas normalmente registra as posições das juntas ou as poses do efetuador final a uma frequência de controle fixa e, em seguida, treina a política para prever as próximas ações a partir das imagens de câmera e dos estados das juntas atuais. Na implantação, o controlador executa a política, executa parte do chunk previsto e chama a política de novo, muitas vezes combinando previsões sobrepostas para evitar trancos nas fronteiras entre chunks. Os engenheiros ajustam o comprimento do chunk e o número de ações executadas por consulta observando dois modos de falha: movimento trêmulo ou hesitante quando os chunks são curtos demais, e reações lentas a perturbações quando são longos demais.

Equívocos comuns

• Chunking de ações significa operar o robô em malha aberta — a maioria das implementações consulta a política novamente antes de um chunk terminar, mantendo o sistema em malha fechada no nível do chunk
• Chunks mais longos são sempre melhores — chunks longos reduzem o erro composto, mas deixam o robô mais lento para reagir a perturbações e objetos em movimento
• Chunking de ações é exclusivo do ACT — a mesma ideia é usada em políticas de difusão, em políticas autorregressivas baseadas em tokens e em muitos modelos vision-language-action

Quem deve saber

• Pesquisadores de aprendizado de robôs que treinam políticas a partir de demonstrações
• Engenheiros que implantam políticas visuomotoras em braços robóticos
• Equipes que constroem pipelines de coleta de dados por teleoperação
• Estudantes que aprendem métodos de aprendizado por imitação

Tecnologias relacionadas

• Action Chunking with Transformers (ACT)
• Política de difusão (Diffusion Policy)
• Clonagem de comportamento (Behavior Cloning)
• Modelos vision-language-action (Vision-Language-Action Models)
• Ensemble temporal (Temporal Ensembling)
• ALOHA

Termos relacionados

• Imitation Learning
• Behavior Cloning
• Diffusion Policy
• Teleoperation

Projetos relacionados

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

Vídeos

• RI Seminar: Max Simchowitz: Generative Control, Action Chunking, and Moravec’s Paradox: CMU Robotics Institute
• Machine Learning Series - ACT Action Chunking Transformers: Trossen Robotics