Imitation Learning

• Detto anche: Learning from Demonstration, IL
• Categoria: Learning & autonomy › Learning from demonstration
• Tag: robot-learning, demonstrations

Approccio di apprendimento automatico in cui i robot imparano osservando e imitando dimostrazioni di esperti.

Definizione

L'apprendimento per imitazione (IL) è un approccio in cui i robot apprendono comportamenti osservando dimostrazioni di esperti invece che tramite segnali di ricompensa espliciti. Comprende behavior cloning, apprendimento per rinforzo inverso e apprendimento dal feedback umano.

Perché è importante

L'apprendimento per imitazione addestra un robot a partire da dimostrazioni invece che da una funzione di ricompensa, aggirando la parte più difficile dell'apprendimento per rinforzo: definire che cosa significhi successo in un modo che non si possa aggirare. Per la manipolazione questo è decisivo, perché "piega l'asciugamano con cura" è molto più facile da mostrare che da valutare con un punteggio. È l'approccio alla base della maggior parte dei recenti progressi nella manipolazione a basso costo, perché una persona con un'attrezzatura di teleoperazione può produrre dati di addestramento utili in un pomeriggio.

Applicazioni principali

• Abilità di manipolazione apprese da dimostrazioni in teleoperazione
• Compiti in cui il successo è facile da riconoscere ma difficile da valutare numericamente
• Avvio di una policy che l'apprendimento per rinforzo raffina in seguito
• Coordinamento bimanuale, molto più facile da dimostrare che da specificare
• Compiti chirurgici e delicati in cui l'esplorazione sarebbe pericolosa
• Acquisizione rapida di compiti in produzioni a piccoli lotti o variabili

In pratica

Il flusso di lavoro dominante è la teleoperazione leader-follower: una persona muove un braccio leader, il follower lo rispecchia, e gli stati dei giunti e i fotogrammi della telecamera vengono registrati come dataset. È esattamente lo scopo per cui sono costruite le configurazioni SO-101 e in stile ALOHA, ed è il motivo per cui questi progetti sono venduti in coppia. Il punto debole noto è l'errore cumulativo: una policy che ha visto solo traiettorie esperte non ha idea di come recuperare quando se ne allontana, ed è per questo che dimostrare deliberatamente i recuperi, e non solo esecuzioni perfette, fa una tale differenza in pratica.

Idee sbagliate comuni

• Il robot impara a capire il compito: impara a riprodurre la corrispondenza tra osservazione e azione che gli è stata mostrata
• Più dimostrazioni aiutano sempre: dimostrazioni coerenti e varie contano molto più del semplice numero, e quelle contraddittorie fanno attivamente danno
• Generalizza oltre ciò che gli è stato mostrato: il comportamento al di fuori della distribuzione dimostrata è inaffidabile per costruzione
• Le dimostrazioni perfette sono l'ideale: senza esempi di recupero, la policy non riesce a rimettersi in carreggiata dopo una qualsiasi deviazione

Chi dovrebbe saperlo

• Chiunque raccolga dati di dimostrazione su un braccio robotico teleoperato
• Ingegneri che scelgono un approccio di apprendimento per un compito di manipolazione
• Ricercatori che confrontano approcci per imitazione e per rinforzo
• Studenti che imparano perché l'errore cumulativo domina il cloning ingenuo
• Chiunque acquisti una coppia di bracci leader-follower e si chieda a che cosa serva

Tecnologie correlate

• Behavior cloning
• Apprendimento per rinforzo inverso
• DAgger (Dataset Aggregation)
• Diffusion policy
• Teleoperazione
• Foundation model
• Apprendimento per rinforzo
• Apprendimento da dimostrazione (LfD)

Termini correlati

• VLA
• Diffusion Policy

Progetti correlati

• OpenPI: Physical Intelligence VLA foundation models for general robot control
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
• robosuite: Modular MuJoCo simulation framework for robot learning research
• LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
• Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments

Video

• Lecture 17 Imitation Learning -- CS287-FA19 Advanced Robotics at UC Berkeley: Pieter Abbeel