PACE Sim2Real

Trasferimento sim-to-real sistematico tramite l'identificazione della dinamica degli attuatori

Licenza

Apache-2.0

Panoramica

PACE (Precise Adaptation through Continuous Evolution) è un framework sistematico del Robotic Systems Lab dell'ETH di Zurigo per identificare la dinamica degli attuatori e dei giunti, così da migliorare il trasferimento sim-to-real dei robot con gambe. Usando solo i normali encoder dei giunti, PACE identifica la dinamica dei motori, l'attrito, lo smorzamento e la cedevolezza dei giunti, cioè i parametri che più spesso causano il divario con la realtà. L'approccio è indipendente dall'hardware ed è stato validato su più piattaforme quadrupedi, riducendo in modo significativo il calo di prestazioni nel passaggio sim-to-real.

PACE (Precise Adaptation through Continuous Evolution) è un framework del Robotic Systems Lab dell'ETH di Zurigo che affronta il divario sim-to-real per i robot con gambe. Offre un approccio sistematico per identificare i parametri della dinamica degli attuatori e dei giunti usando solo i normali encoder dei giunti, e poi usa quei parametri per creare simulazioni più fedeli.

Il metodo centrale combina l'identificazione dei sistemi basata sui dati con l'ottimizzazione evolutiva CMA-ES. Registrando semplici traiettorie di movimento sull'hardware reale, PACE apprende parametri fisicamente significativi come attrito, smorzamento e caratteristiche di risposta degli attuatori. Questi parametri vengono poi applicati agli ambienti di simulazione in NVIDIA Isaac Lab, ottenendo un trasferimento delle policy nettamente migliore.

PACE è stato validato su piattaforme quadrupedi reali, tra cui ANYmal, mostrando miglioramenti misurabili delle prestazioni di locomozione nel trasferire dalla simulazione all'hardware policy addestrate con RL. Il framework è pensato per essere indipendente dalla piattaforma e supporta più configurazioni di robot e tipi di attuatori.

Perché è importante

PACE affronta uno dei maggiori colli di bottiglia nel deployment delle policy di locomozione apprese: il divario tra la simulazione e l'hardware fisico. Offrendo un metodo sistematico e basato sui dati per identificare la dinamica degli attuatori usando solo i normali encoder dei giunti, rende accessibile un trasferimento sim-to-real ad alta fedeltà senza costose configurazioni di sensori.

Il problema che risolve

Le policy di apprendimento per rinforzo addestrate in simulazione spesso falliscono sui robot reali perché i simulatori modellano male la dinamica degli attuatori, l'attrito e il comportamento dei giunti. PACE risolve il problema apprendendo dai dati dell'hardware reale parametri dinamici fisicamente significativi e riapplicandoli alla simulazione, con una fedeltà di trasferimento nettamente migliore.

Punti chiave

• Usa l'ottimizzazione evolutiva CMA-ES per identificare i parametri della dinamica di attuatori e giunti
• Richiede solo i normali encoder dei giunti: nessun sensore aggiuntivo
• Si integra direttamente con NVIDIA Isaac Lab per flussi di lavoro sim-to-real senza interruzioni
• Supporta da subito più piattaforme robotiche e tipi di attuatori
• Sviluppato e validato dal Robotic Systems Lab dell'ETH di Zurigo su quadrupedi reali

A chi si rivolge

• Ricercatori di robotica con gambe che lavorano su locomozione e trasferimento sim-to-real
• Professionisti di RL che trasferiscono policy apprese dalla simulazione a robot fisici
• Ingegneri robotici che hanno bisogno di modelli accurati degli attuatori per la fedeltà della simulazione
• Utenti di NVIDIA Isaac Lab che vogliono migliorare la propria pipeline sim-to-real

Limiti

• Richiede NVIDIA Isaac Lab (e Isaac Sim 5.0+) per tutte le funzionalità
• Al momento è incentrato sui robot con gambe: l'applicabilità ad altri tipi di robot non è stata verificata
• I requisiti di GPU di Isaac Sim possono limitarne l'accessibilità su hardware consumer
• L'identificazione dei parametri richiede di raccogliere prima dati di movimento sull'hardware reale