Asymmetric Actor-Critic

Detto anche: asymmetric critic, privileged critic
Categoria: Learning & autonomy › RL & simulation
Tag: reinforcement-learning, sim-to-real, privileged-information, actor-critic, robot-learning

Una configurazione di apprendimento per rinforzo actor-critic in cui il critic viene addestrato sullo stato privilegiato del simulatore mentre l'actor usa solo le osservazioni di cui disporrà il robot reale.

Definizione

Actor-critic asimmetrico (asymmetric actor-critic) è un modo di addestrare una policy con un algoritmo di apprendimento per rinforzo actor-critic quando l'ambiente di addestramento sa più di quanto saprà il robot messo in campo. L'actor, che diventa la policy impiegata, riceve solo osservazioni realistiche come immagini della telecamera, encoder dei giunti o stime rumorose della posa degli oggetti. Il critic, che stima il valore degli stati ed esiste solo per ridurre la varianza del policy gradient durante l'addestramento, riceve informazioni privilegiate aggiuntive: pose e velocità esatte degli oggetti, forze di contatto, coefficienti d'attrito e altri elementi dello stato del simulatore. Pinto e colleghi introdussero il termine nel 2018 per il robot learning basato su immagini, in cui l'actor vedeva immagini e il critic vedeva lo stato completo.

L'idea funziona perché il critic viene scartato dopo l'addestramento. Nulla di ciò che consuma deve essere misurato sul robot reale, quindi gli si può dare tutto ciò che rende più facile la stima del valore. Un critic con lo stato completo impara più in fretta e con maggiore accuratezza di uno che deve inferire grandezze nascoste da osservazioni parziali, il che dà all'actor segnali di apprendimento migliori. L'approccio si adatta naturalmente ai metodi on-policy come PPO, usato per il riorientamento in mano in Isaac Gym, e ai metodi off-policy come DDPG o SAC.

L'actor-critic asimmetrico differisce dall'addestramento teacher-student. Nell'addestramento teacher-student una policy teacher separata viene prima addestrata con ingressi privilegiati e poi distillata in uno student che vede solo osservazioni reali. Nell'actor-critic asimmetrico c'è un'unica policy, addestrata direttamente con l'apprendimento per rinforzo su ingressi realistici; solo la funzione di valore è privilegiata. Le due tecniche vengono spesso combinate. Una sottigliezza è che, in osservabilità parziale, un critic condizionato solo sullo stato vero può dare stime del valore distorte per una policy che agisce in base alla cronologia delle osservazioni, quindi molte implementazioni forniscono al critic sia lo stato privilegiato sia le osservazioni dell'actor.

Perché è importante

L'apprendimento per rinforzo sim-to-real richiede policy che funzionino con sensori reali, ma imparare da osservazioni parziali e rumorose è lento e instabile. Dare al critic lo stato privilegiato del simulatore è una modifica economica agli algoritmi standard che spesso rende l'addestramento molto più rapido e affidabile, senza aggiungere nulla che il robot messo in campo debba misurare.

Applicazioni principali

Riorientamento di oggetti in mano con mani robotiche destre
Policy di manipolazione basate su immagini addestrate in simulazione
Policy di locomozione con gambe addestrate con informazioni privilegiate su terreno e contatti
Apprendimento per rinforzo sim-to-real con simulatori paralleli su GPU
Compiti di controllo parzialmente osservabili in cui il simulatore espone lo stato nascosto

In pratica

Un team addestra una mano a più dita a riorientare oggetti in un simulatore su GPU con PPO. La rete dell'actor riceve le posizioni dei polpastrelli, gli angoli dei giunti e una stima della posa dell'oggetto con rumore e latenza aggiunti, corrispondente a ciò che un tracker di posa basato su telecamera fornirà sull'hardware. La rete del critic riceve gli stessi ingressi più la posa esatta dell'oggetto, la velocità lineare e angolare, l'orientamento obiettivo e i valori randomizzati di attrito e massa per quell'ambiente. Entrambe le reti condividono gli stessi rollout e vengono aggiornate insieme. Alla messa in campo solo i pesi dell'actor vengono esportati sul computer del robot; il critic e gli ingressi disponibili solo nel simulatore non servono più.

Idee sbagliate comuni

La policy impiegata usa lo stato privilegiato — solo il critic lo vede durante l'addestramento, e il critic viene scartato alla messa in campo
È la stessa cosa dell'addestramento teacher-student — il teacher-student addestra una policy privilegiata e la distilla, mentre l'actor-critic asimmetrico addestra direttamente un'unica policy realistica con una funzione di valore privilegiata
Un critic basato solo sullo stato è sempre corretto — in osservabilità parziale può distorcere la stima del valore per un actor basato sulle osservazioni, ed è per questo che spesso si forniscono al critic anche le osservazioni dell'actor

Chi dovrebbe saperlo

Ingegneri di apprendimento per rinforzo che lavorano sul trasferimento sim-to-real
Ricercatori di manipolazione destra
Sviluppatori di locomozione con gambe che addestrano policy in simulazione
Ingegneri di simulazione che progettano gli spazi di osservazione per l'addestramento

Tecnologie correlate

Proximal Policy Optimization
Isaac Gym
Apprendimento privilegiato (Privileged Learning)
Randomizzazione del dominio (Domain Randomization)
Soft Actor-Critic

Termini correlati

Progetti correlati

LeRobot: HuggingFace ML library for real-world robotics in PyTorch
MuJoCo: DeepMind physics engine for robotics and ML research
PyBullet: Python physics simulator for robotics and RL research with fast CPU-based simulation
OpenPI: Physical Intelligence VLA foundation models for general robot control
Microduck: Pollen Robotics' $399 walking duck robot: open-source software, closed hardware
Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim