Kinesthetic Teaching

Também chamado: lead-through programming, hand guiding, physical demonstration
Categoria: Learning & autonomy › Learning from demonstration
Tags: imitation-learning, demonstrations, human-robot-interaction, cobots, data-collection

Ensinar um robô guiando fisicamente o seu braço ao longo de uma tarefa enquanto ele registra o próprio movimento de juntas ou do efetuador final, o que dá demonstrações diretamente no próprio corpo do robô.

Definição

Ensino cinestésico (kinesthetic teaching) é uma forma de fornecer demonstrações em que uma pessoa segura o robô e o move ao longo da tarefa. O controlador do robô torna o braço fácil de mover, e o robô registra suas próprias posições de junta, poses do efetuador final e às vezes forças como demonstração. Os dados registrados podem ser reproduzidos como um programa fixo ou usados como dados de treinamento para aprendizado por imitação. O ensino cinestésico é, portanto, uma forma de coletar demonstrações, enquanto o aprendizado por imitação é a família de métodos que aprendem uma política a partir delas, qualquer que tenha sido a forma de coleta. Na robótica industrial, a mesma ideia é chamada de programação por condução (lead-through programming) ou guiamento manual (hand guiding).

A principal vantagem é que as demonstrações saem diretamente no próprio espaço de juntas do robô. A teleoperação e as demonstrações em vídeo exigem mapear o movimento humano para um corpo diferente, o problema da correspondência, e as interfaces de teleoperação podem ser difíceis de usar para movimentos finos ou com muito contato. Com o ensino cinestésico, todo movimento registrado já é cinematicamente factível para o robô, e a pessoa sente o contato com o ambiente através do braço. Para que isso seja possível, o braço precisa ser fácil de mover com a mão: ou ele é retroacionável (backdrivable) e executa um controlador de compensação da gravidade ou de baixa impedância, ou usa sensoriamento de torque nas juntas ou de força no punho com controle de admitância para seguir as forças que a pessoa aplica.

O ensino cinestésico também tem limites. As mãos e o corpo da pessoa estão na cena, então as imagens gravadas durante a demonstração contêm a pessoa e as forças registradas incluem o empurrão da pessoa, não apenas as forças da tarefa. Uma solução comum é registrar a trajetória de forma cinestésica e depois reproduzi-la de forma autônoma para capturar dados limpos de câmera e de força. Guiar um braço pesado ou com muitas juntas é cansativo, tarefas com dois braços precisam de duas pessoas ou de montagens cuidadosas, e movimentos rápidos ou dinâmicos são difíceis de demonstrar com a mão. As demonstrações também capturam as hesitações do instrutor, então as trajetórias costumam ser suavizadas ou segmentadas antes do uso.

Por que importa

O ensino cinestésico é uma das formas mais simples de obter demonstrações factíveis e relevantes para a tarefa em um robô real, sem retargeting e com pouco hardware extra. Ele é muito usado tanto para programar robôs colaborativos no chão de fábrica quanto para coletar dados para pesquisa em aprendizado por imitação.

Principais aplicações

Programação de robôs colaborativos por guiamento manual
Coleta de demonstrações para aprendizado por imitação e clonagem de comportamento
Ensino de tarefas com muito contato, como limpar, inserir e pegar com colher
Aprendizado de primitivas de movimento a partir de poucas demonstrações
Ensino de waypoints para trajetórias de soldagem, pintura e montagem

Na prática

Uma equipe de pesquisa coleta demonstrações de como pegar comida de uma tigela com uma colher presa a um braço colaborativo. No modo de compensação da gravidade, uma pessoa segura o braço perto do punho e executa cada colherada enquanto o robô registra as poses do efetuador final a uma taxa fixa. Como a mão da pessoa bloqueia a câmera do punho e acrescenta força, cada trajetória registrada é depois reproduzida pelo robô sozinho, e as imagens da câmera e as leituras de força dessa reprodução são pareadas com a trajetória como dados de treinamento. As demonstrações que batem na borda da tigela ou derramam comida são descartadas, e o restante é usado para treinar uma política visuomotora.

Equívocos comuns

O ensino cinestésico é um tipo de teleoperação — na teleoperação a pessoa move uma interface separada e o robô a segue remotamente, enquanto no ensino cinestésico a pessoa move fisicamente o próprio robô
Qualquer braço robótico pode ser ensinado de forma cinestésica — o braço precisa de juntas retroacionáveis ou de sensoriamento de torque ou de força com um controlador adequado; um braço industrial rígido controlado em posição não pode simplesmente ser empurrado com a mão
Os dados registrados durante a demonstração podem ser usados como estão — a pessoa aparece nas imagens da câmera e a força que ela aplica se mistura às forças da tarefa, então muitos pipelines reproduzem a trajetória para registrar dados de sensores limpos

Quem deve saber

Pesquisadores de aprendizado robótico que coletam demonstrações
Integradores que programam robôs colaborativos
Engenheiros de controle que implementam compensação da gravidade e controle de admitância
Desenvolvedores de robótica assistiva e de serviço

Tecnologias relacionadas

Compensação da gravidade (Gravity Compensation)
Controle de admitância (Admittance Control)
Dynamic Movement Primitives
Sensores de torque de junta (Joint Torque Sensors)
Braços robóticos colaborativos (Collaborative Robot Arms)

Termos relacionados

Projetos relacionados

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.
AgiBot World: Million-trajectory real-robot manipulation dataset from a fleet of 100+ humanoid robots