Diffusion Policy
- Categoria: Learning & autonomy › Learning from demonstration
- Tag: robot-learning, generative-models
Approccio di apprendimento robotico che usa modelli di diffusione per generare distribuzioni di azioni fluide.
Definizione
La Diffusion Policy usa modelli di diffusione con rimozione del rumore per generare le azioni del robot, producendo distribuzioni di azioni fluide e multimodali. È efficace per apprendere comportamenti di manipolazione complessi da dimostrazioni.
Perché è importante
La diffusion policy applica all'azione robotica la tecnica generativa alla base dei modelli per immagini, imparando a produrre una sequenza di azioni attraverso un denoising iterativo. La sua importanza è specifica e pratica: gestisce la multimodalità. Quando ci sono diversi modi ugualmente validi di completare un compito, una policy di regressione convenzionale ne fa la media e produce qualcosa che non funziona per nessuno: si allunga tra due punti di presa validi invece che verso uno dei due. La diffusione invece campiona un'unica opzione coerente, ed è per questo che è diventata la baseline predefinita per l'apprendimento per imitazione.
Applicazioni principali
- Apprendimento per imitazione da dimostrazioni in teleoperazione su bracci robotici a basso costo
- Manipolazione bimanuale e ad alta dimensionalità, dove la media delle azioni è più dannosa
- Compiti ricchi di contatto come inserimento, pulitura e piegatura
- Compiti multimodali in cui sono valide diverse strategie distinte
- Confronto con una baseline nella ricerca sulla manipolazione
- Controllo visuomotorio direttamente dalle immagini della telecamera senza uno stimatore di stato esplicito
In pratica
La configurazione standard usa da decine a un paio di centinaia di dimostrazioni in teleoperazione, e la policy predice un blocco di azioni future anziché un singolo passo, eseguendone una parte prima di ripianificare: lo schema a orizzonte mobile che dà il movimento fluido e coerente nel tempo per cui l'approccio è noto. Il costo è l'inferenza: il denoising richiede più passaggi nella rete, quindi le frequenze di controllo sono inferiori rispetto a una policy a passaggio singolo, e buona parte della ricerca successiva mira a ridurre il numero di passi necessari.
Idee sbagliate comuni
- La diffusion policy genera immagini: il processo di diffusione opera su sequenze di azioni, non su pixel
- Richiede dataset enormi: si distingue proprio perché funziona con decine o centinaia di dimostrazioni, a differenza dell'apprendimento per rinforzo
- È troppo lenta per essere pratica: l'action chunking distribuisce il costo del denoising su molti passi di controllo
- Elimina la necessità di buone dimostrazioni: riproduce la distribuzione che le è stata mostrata, errori compresi
Chi dovrebbe saperlo
- Chiunque addestri una policy di manipolazione da dimostrazioni
- Ingegneri che scelgono tra behavior cloning, diffusione e apprendimento per rinforzo
- Ricercatori che hanno bisogno dell'attuale baseline standard
- Studenti che imparano perché la media delle azioni è un vero modo di fallimento
- Chiunque raccolga dati di teleoperazione e si chieda quanti ne bastino
Tecnologie correlate
- DDPM (Denoising Diffusion Probabilistic Models)
- Action Chunking with Transformers (ACT)
- Behavior cloning
- Apprendimento per imitazione
- Vision Transformer (ViT)
- Modelli generativi basati sullo score
- Ottimizzazione della traiettoria
- Classifier-free guidance
Termini correlati
Progetti correlati
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- DreamZero: NVIDIA World Action Model that jointly predicts future video and robot actions
- robosuite: Modular MuJoCo simulation framework for robot learning research
- LIBERO: Lifelong robot learning benchmark with 130 procedural tasks
- Open X-Embodiment (OXE): Largest open robotics dataset: 1M+ episodes from 22 embodiments
Video
- Diffusion Policy: LeRobot Research Presentation #2: HuggingFace