Sim2Real

• Detto anche: Simulation to Reality, Sim-to-Real
• Categoria: Learning & autonomy › RL & simulation
• Tag: simulation, transfer-learning

Tecniche per trasferire all'impiego nel mondo reale le abilità robotiche addestrate in simulazione.

Definizione

Sim2Real indica la sfida e le tecniche per trasferire nel mondo reale policy robotiche addestrate in simulazione. Tra le tecniche principali ci sono la domain randomization, l'identificazione del sistema e il fine-tuning progressivo.

Perché è importante

Il sim-to-real è il problema di far funzionare su hardware fisico una policy addestrata in simulazione. Conta perché la simulazione è l'unico modo pratico per ottenere i milioni di prove di cui l'apprendimento per rinforzo ha bisogno, e perché il divario tra le due è il punto in cui la maggior parte di quell'addestramento fallisce in silenzio. Ogni discrepanza (attrito, massa, ritardo dei motori, rumore dei sensori, comportamento dei contatti) è un'occasione perché una policy abbia imparato qualcosa di vero per il simulatore e di falso per il mondo.

Applicazioni principali

• Policy di locomozione con zampe addestrate in simulazione massicciamente parallela
• Pre-addestramento della manipolazione prima del fine-tuning sull'hardware
• Policy di controllo dei droni, dove gli schianti durante l'addestramento reale costano cari
• Comportamenti critici per la sicurezza che non si possono esplorare su hardware reale
• Iterazione rapida sul progetto del controllo prima che l'hardware esista
• Generazione di dati di percezione etichettati con una ground truth perfetta

In pratica

La risposta dominante è la domain randomization: invece di cercare di modellare esattamente la realtà, il simulatore fa variare massa, attrito, latenza e rumore dei sensori su migliaia di istanze parallele, così che la policy sia costretta a imparare qualcosa di robusto rispetto a tutte. È così che si trasferiscono le moderne policy di locomozione per quadrupedi. Contatti e deformazioni restano i casi più difficili, ed è per questo che la locomozione con zampe si trasferisce molto meglio della manipolazione fine di oggetti morbidi: il contatto tra corpi rigidi si approssima in modo accettabile, mentre tessuti e attrito no.

Idee sbagliate comuni

• Un simulatore migliore chiude il divario: la fedeltà aiuta, ma l'addestramento randomizzato di solito si trasferisce meglio di un singolo modello accurato
• Il sim-to-real riguarda solo la fisica: le caratteristiche dei sensori, la latenza e la temporizzazione del controllo contano altrettanto
• Il successo in simulazione predice il successo sull'hardware: senza randomizzazione, le policy sfruttano regolarmente gli artefatti del simulatore
• Il divario è uniforme: la locomozione con corpi rigidi si trasferisce molto più facilmente della manipolazione ricca di contatti o di oggetti deformabili

Chi dovrebbe saperlo

• Chiunque addestri policy di controllo in simulazione
• Ingegneri che devono decidere quanto fidarsi dei risultati simulati
• Ricercatori che progettano gli intervalli della domain randomization
• Studenti che imparano perché i risultati della robotica simulata vanno presi con cautela
• Chiunque abbia una policy simulata che crolla sull'hardware reale

Tecnologie correlate

• Domain randomization
• NVIDIA Isaac Sim
• MuJoCo
• Gazebo
• Identificazione del sistema
• Apprendimento per rinforzo
• Gemello digitale (Digital Twin)
• Simulazione parallela (accelerata da GPU)

Termini correlati

• Imitation Learning

Progetti correlati

• GENESIS: World's fastest physics engine: 43M FPS for embodied AI learning
• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
• RLinf: Scalable infrastructure for post-training foundation models via RL
• Webots: Cross-platform robot simulator with built-in models, sensors, and development environment
• NVIDIA Isaac Sim: NVIDIA Omniverse app for AI-driven robot simulation and testing

Video

• Lecture 22 Sim2Real and Domain Randomization -- CS287-FA19 Advanced Robotics at UC Berkeley: Pieter Abbeel