Behavior Cloning

Detto anche: BC, Learning from Demonstrations
Categoria: Learning & autonomy › Learning from demonstration
Tag: robot-learning, demonstrations, supervised-learning, policy

Tecnica di machine learning in cui i robot imparano i compiti copiando le dimostrazioni di un esperto.

Definizione

Il behavior cloning è una tecnica di machine learning in cui un robot impara a svolgere compiti copiando direttamente le azioni di un dimostratore esperto. Dato un set di dati di coppie stato-azione raccolte dalle dimostrazioni, il robot addestra una policy (tipicamente una rete neurale) a prevedere quale azione compirebbe l'esperto in un dato stato.

Il processo è semplice: 1. Raccolta dei dati: un esperto umano dimostra il comportamento desiderato tramite teleoperazione, insegnamento cinestetico (guidando fisicamente il robot) o controller VR. Il sistema registra le osservazioni (immagini delle telecamere, posizioni dei giunti) abbinate alle azioni compiute. 2. Addestramento della policy: si addestra un modello di apprendimento supervisionato ad associare osservazioni e azioni. Il modello minimizza la differenza tra le azioni che prevede e quelle registrate dall'esperto. 3. Impiego: la policy addestrata gira sul robot, generando azioni a partire dalle osservazioni dei sensori in tempo reale.

Il behavior cloning è la forma più semplice di apprendimento per imitazione, e la sua forza sta proprio nella semplicità. Soffre però di un limite ben noto, chiamato spostamento della distribuzione (distribution shift) o problema dell'errore cumulativo: piccoli errori di previsione portano il robot a derivare verso stati non presenti nei dati di addestramento, dove la policy può produrre azioni sempre peggiori. L'algoritmo DAgger (Dataset Aggregation) affronta il problema raccogliendo iterativamente dimostrazioni correttive negli stati che il robot visita davvero.

Il behavior cloning moderno ha fatto grandi progressi grazie ad architetture come Action Chunking Transformers (ACT), Diffusion Policy e i modelli Vision-Language-Action (VLA). Questi approcci prevedono sequenze di azioni future anziché singoli passi e gestiscono distribuzioni di azioni multimodali, migliorando drasticamente la robustezza rispetto al behavior cloning classico.

Il behavior cloning è alla base della maggior parte degli attuali framework open source di apprendimento robotico, tra cui LeRobot, che rende facile raccogliere dimostrazioni e addestrare policy per compiti di manipolazione.

Perché è importante

Il behavior cloning è la forma più semplice di apprendimento per imitazione: si registra ciò che ha fatto un esperto e si addestra una rete a prevedere l'azione dell'esperto a partire dalla stessa osservazione. È apprendimento supervisionato applicato al controllo, senza funzione di ricompensa e senza esplorazione. La sua semplicità è il motivo per cui è la prima cosa che tutti provano e il riferimento con cui si misura tutto il resto, e il suo unico punto debole strutturale, l'errore cumulativo, è il motivo per cui il settore non si è fermato lì.

Applicazioni principali

Manipolazione ripetitiva semplice con una configurazione costante
Policy di riferimento con cui confrontare metodi più sofisticati
Preaddestramento prima del fine-tuning con apprendimento per rinforzo
Guida e mantenimento della corsia a partire dal controllo umano registrato
Prototipazione rapida per verificare se un compito sia apprendibile
Distillazione di un pianificatore costoso in una policy reattiva veloce

In pratica

Si teleopera un braccio attraverso un compito qualche decina di volte, si registrano osservazioni e azioni e si addestra una policy ad associare le une alle altre. Funziona sorprendentemente bene su compiti ripetitivi e ben vincolati. Il fallimento è caratteristico e vale la pena riconoscerlo: piccoli errori di previsione spostano il robot leggermente fuori dal percorso dimostrato, in stati che i dati di addestramento non hanno mai contenuto, dove le previsioni peggiorano, e la deviazione si accumula finché il tentativo fallisce del tutto. Le contromisure pratiche sono dimostrare deliberatamente i recuperi, oppure passare a un metodo che preveda sequenze di azioni anziché singoli passi.

Idee sbagliate comuni

Behavior cloning e apprendimento per imitazione sono sinonimi: il cloning è il caso più semplice di una famiglia più ampia
Fallisce solo per mancanza di dati: lo spostamento della distribuzione che crea è strutturale, non solo un problema di quantità di dati
La policy si riprenderà dagli errori: il comportamento di recupero non può essere appreso se non è mai stato dimostrato
Non serve una funzione di ricompensa, quindi non serve una valutazione: misurare il successo richiede comunque un criterio definito

Chi dovrebbe saperlo

Chiunque inizi con l'apprendimento robotico, perché questo è il primo metodo da provare
Ingegneri che devono stabilire se un compito richiede qualcosa di più capace
Studenti che imparano perché lo spostamento della distribuzione conta nel controllo
Ricercatori che stabiliscono un riferimento di base
Chiunque abbia una policy appresa che funziona finché non devia leggermente dal percorso

Tecnologie correlate

DAgger (Dataset Aggregation)
Diffusion policy
Action Chunking with Transformers (ACT)
Modelli Vision-Language-Action (VLA)
Apprendimento per rinforzo inverso
Apprendimento per rinforzo dal feedback umano (RLHF)
Sistemi di teleoperazione per la raccolta dei dati
Trasferimento sim-to-real

Termini correlati

Progetti correlati

OpenPI: Physical Intelligence VLA foundation models for general robot control
NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
robosuite: Modular MuJoCo simulation framework for robot learning research
LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments

Video

Core Concepts: Imitation Learning: Sanjiban Choudhury
ALOHA and ACT: LeRobot Research Presentation #1 by Alexander Soare: Hugging Face