Kinesthetic Teaching

Aussi appelé: lead-through programming, hand guiding, physical demonstration
Catégorie: Learning & autonomy › Learning from demonstration
Mots-clés: imitation-learning, demonstrations, human-robot-interaction, cobots, data-collection

Enseigner à un robot en guidant physiquement son bras à travers une tâche pendant qu'il enregistre son propre mouvement articulaire ou de l'effecteur, ce qui fournit des démonstrations directement dans le corps du robot.

Définition

L'enseignement kinesthésique (kinesthetic teaching) est une manière de fournir des démonstrations dans laquelle une personne tient le robot et le guide à travers la tâche. Le contrôleur du robot rend le bras facile à déplacer, et le robot enregistre comme démonstration ses propres positions articulaires, poses de l'effecteur et parfois les forces. Les données enregistrées peuvent être rejouées comme un programme fixe ou servir de données d'entraînement pour l'apprentissage par imitation. L'enseignement kinesthésique est donc une façon de collecter des démonstrations, tandis que l'apprentissage par imitation est la famille de méthodes qui en apprennent une politique, quelle que soit la façon dont elles ont été collectées. En robotique industrielle, la même idée s'appelle programmation par guidage (lead-through programming) ou guidage manuel (hand guiding).

Le principal avantage est que les démonstrations sont obtenues directement dans l'espace articulaire propre du robot. La téléopération et les démonstrations vidéo exigent de transposer le mouvement humain sur un autre corps, ce qu'on appelle le problème de correspondance, et les interfaces de téléopération peuvent être difficiles à utiliser pour des mouvements fins ou riches en contacts. Avec l'enseignement kinesthésique, chaque mouvement enregistré est déjà cinématiquement réalisable par le robot, et la personne ressent le contact avec l'environnement à travers le bras. Pour que ce soit possible, le bras doit être facile à déplacer à la main : soit il est réversible et exécute un contrôleur à compensation de gravité ou à faible impédance, soit il utilise une mesure du couple articulaire ou de la force au poignet avec une commande en admittance pour suivre les forces appliquées par la personne.

L'enseignement kinesthésique a aussi ses limites. Les mains et le corps de la personne sont dans la scène, si bien que les images enregistrées pendant la démonstration contiennent la personne et que les forces enregistrées incluent la poussée de la personne, pas seulement les forces de la tâche. Une solution courante consiste à enregistrer la trajectoire de façon kinesthésique puis à la rejouer de manière autonome pour capturer des données caméra et force propres. Guider un bras lourd ou à nombreuses articulations est fatigant, les tâches à deux bras exigent deux personnes ou des montages soignés, et les mouvements rapides ou dynamiques sont difficiles à démontrer à la main. Les démonstrations capturent aussi les hésitations de la personne qui enseigne, si bien que les trajectoires sont généralement lissées ou segmentées avant usage.

Pourquoi c'est important

L'enseignement kinesthésique est l'un des moyens les plus simples d'obtenir sur un robot réel des démonstrations réalisables et pertinentes pour la tâche, sans reciblage et avec peu de matériel supplémentaire. Il est largement utilisé aussi bien pour programmer des robots collaboratifs en atelier que pour collecter des données pour la recherche en apprentissage par imitation.

Applications principales

Programmation de robots collaboratifs par guidage manuel
Collecte de démonstrations pour l'apprentissage par imitation et le clonage comportemental
Enseignement de tâches riches en contacts comme essuyer, insérer et puiser
Apprentissage de primitives de mouvement à partir de quelques démonstrations
Apprentissage de points de passage pour des trajets de soudage, de peinture et d'assemblage

En pratique

Une équipe de recherche collecte des démonstrations consistant à puiser de la nourriture dans un bol avec une cuillère fixée à un bras collaboratif. En mode compensation de gravité, une personne saisit le bras près du poignet et effectue chaque prise de nourriture pendant que le robot enregistre les poses de l'effecteur à cadence fixe. Comme la main de la personne masque la caméra de poignet et ajoute une force, chaque trajectoire enregistrée est ensuite rejouée par le robot seul, et les images de la caméra et les mesures de force issues de la relecture sont associées à la trajectoire comme données d'entraînement. Les démonstrations qui heurtent le bord du bol ou renversent de la nourriture sont écartées, et les autres servent à entraîner une politique visuomotrice.

Idées reçues

L'enseignement kinesthésique est une forme de téléopération — en téléopération, la personne déplace une interface séparée et le robot suit à distance, alors qu'en enseignement kinesthésique la personne déplace physiquement le robot lui-même
N'importe quel bras robotique peut être enseigné de façon kinesthésique — le bras a besoin d'articulations réversibles ou d'une mesure de couple ou de force avec un contrôleur adapté ; un bras industriel rigide commandé en position ne peut pas simplement être poussé à la main
Les données enregistrées pendant la démonstration peuvent être utilisées telles quelles — la personne apparaît dans les images de la caméra et la force qu'elle applique se mêle aux forces de la tâche, si bien que de nombreuses chaînes rejouent la trajectoire pour enregistrer des données capteurs propres

Qui devrait le savoir

Chercheurs en apprentissage robotique qui collectent des démonstrations
Intégrateurs qui programment des robots collaboratifs
Automaticiens qui mettent en œuvre la compensation de gravité et la commande en admittance
Développeurs de robots d'assistance et de service

Technologies associées

Compensation de gravité (Gravity Compensation)
Commande en admittance (Admittance Control)
Dynamic Movement Primitives
Capteurs de couple articulaire (Joint Torque Sensors)
Bras robotiques collaboratifs (Collaborative Robot Arms)

Termes associés

Projets associés

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
OpenPI: Physical Intelligence VLA foundation models for general robot control
Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments
Koch v1.1 Low-Cost Robot Arm: Open-source 6-DOF robot arm for affordable teleoperation and imitation learning research.
AgiBot World: Million-trajectory real-robot manipulation dataset from a fleet of 100+ humanoid robots