Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

PAC-MAN

Un Unitree G1 che schiva palle lanciate usando solo la profondità a bordo

Licenza

MIT

Il codice è coperto da MIT. Verificato il 2026-09-10: i file del modello Unitree G1 e le clip di movimento AMP sottoposte a retargeting derivano dalle rispettive fonti originali e ne mantengono i termini; le clip sono ottenute per retargeting dal dataset di motion capture NVIDIA SEED e sono ridistribuite qui per uso di ricerca, quindi qualsiasi uso commerciale dei dati di movimento è regolato dalla licenza del dataset di origine.

Panoramica

PAC-MAN è la pipeline di addestramento, il benchmark e lo stack di deployment hardware per un umanoide Unitree G1 che schiva palle lanciate usando soltanto una telecamera di profondità montata sulla testa. La sicurezza viene modellata in fase di addestramento tramite ricompense basate su control barrier function applicate a ogni segmento del corpo, anziché imposta da un filtro in esecuzione, e un adversarial motion prior su schivate umane sottoposte a retargeting mantiene umani i riflessi risultanti. La policy messa in funzione vede la minaccia solo come profondità mascherata sulla sola palla e ridotta a una pila sparsa di fotogrammi 16×9, esattamente la rappresentazione che un segmentatore EfficientTAM produce sul robot reale, così il divario sim-to-real si riduce al livello della percezione. Il trasferimento è zero-shot: 19 lanci a mano su 20 schivati, senza cadute.

La struttura a barriera si presenta in due forme e il repository tratta la differenza come il risultato della ricerca, non come un dettaglio implementativo. Link-CBF pone una barriera di distanza su ogni segmento del robot e penalizza la violazione della condizione di barriera nel segmento più vincolante; interviene solo tramite la ricompensa di addestramento, senza nulla da imporre online, ed è proprio per questo che il checkpoint si mette in funzione così com'è. Joint-CBF proietta la velocità desiderata dei giunti su un semispazio sicuro ed è più forte quando gli stati della palla sono accurati, ma peggiora con una telecamera fissa se usata solo come guida all'addestramento, e recupera con un gimbal che insegue la palla o con una proiezione privilegiata in esecuzione. Quel filtro privilegiato è un limite superiore della simulazione, non una configurazione hardware.

L'addestramento gira su mjlab sopra MuJoCo Warp, con l'implementazione AMP adattata da AMP_mjlab e PPO da rsl_rl, e il repository fornisce un launcher per ogni cella sperimentale dell'articolo, così la tabella di ablazione si può riprodurre cella per cella. L'albero deploy/ è un progetto uv separato e autonomo in Python 3.8 che esegue tre processi su UDP in localhost: un nodo per la telecamera ZED che esegue la segmentazione della palla con EfficientTAM, la policy di schivata ONNX con un passaggio automatico dalla modalità camminata alla modalità schivata, e un bridge hardware Unitree DDS. Entrambi i checkpoint messi in funzione sono inclusi nel repository, e c'è una suite pytest che copre i termini CBF, i lanci da tutte le direzioni e il puntamento del gimbal.

Perché è importante

I livelli di sicurezza per gli umanoidi vengono di solito dimostrati con uno stato privilegiato e perdono in silenzio le loro garanzie nel momento in cui il robot deve vedere il pericolo da solo. PAC-MAN mette la struttura a barriera nella ricompensa di addestramento e dà alla policy solo ciò che una telecamera a bordo può produrre, poi pubblica il risultato sull'hardware. È anche insolitamente completo per un rilascio di RL per umanoidi: la maggior parte si ferma al codice di addestramento, mentre questo include il benchmark, i checkpoint ONNX effettivamente messi in funzione e il bridge per la telecamera e DDS che li ha eseguiti.

Il problema che risolve

La sicurezza del corpo intero di un umanoide è facile da dimostrare quando la posizione del pericolo viene passata al controller, e difficile da mantenere quando il robot deve percepirla da sé. PAC-MAN colma questo divario addestrando sull'osservazione degradata che il robot avrà davvero, così ciò che il benchmark misura è ciò che gira sull'hardware.

Punti chiave

  • Messo in funzione zero-shot su un Unitree G1: 19 lanci a mano su 20 schivati, nessuna caduta, con la percezione eseguita interamente a bordo
  • L'unica vista della minaccia per la policy è la profondità mascherata sulla sola palla, ridotta a una pila sparsa di fotogrammi 16×9, identica a ciò che EfficientTAM produce sul robot
  • Link-CBF modella la sicurezza solo tramite la ricompensa di addestramento, senza nulla da imporre in esecuzione, ed è questo che permette al checkpoint di trasferirsi senza fine-tuning
  • Joint-CBF è la barriera più forte con stati della palla accurati, ma peggiora con una telecamera fissa; un gimbal di inseguimento o un filtro privilegiato la recuperano
  • Abbassarsi, spostarsi di lato e saltare emergono dalle ricompense di barriera e dal motion prior: nessun comportamento di evasione è programmato a mano
  • deploy/ è uno stack hardware completo (nodo ZED, segmentazione EfficientTAM, policy ONNX con passaggio da camminata a schivata, bridge Unitree DDS) con i checkpoint messi in funzione inclusi nel repository
  • Poiché la policy vede solo la profondità mascherata dalla segmentazione, gli stessi pesi schivano palle che non sono mai comparse nell'addestramento

A chi si rivolge

  • Ricercatori di controllo del corpo intero degli umanoidi e di RL sicuro
  • Proprietari di Unitree G1 che cercano un percorso completo di deployment sim-to-real
  • Ricercatori di control barrier function che vogliono un'implementazione di riferimento per il reward shaping
  • Professionisti che studiano policy basate solo sulla profondità, con la percezione nel ciclo

Limiti

  • Un solo modello di minaccia: palle lanciate contro un robot in piedi. Nulla qui riguarda l'evitamento degli ostacoli in generale o la navigazione in una scena ingombra
  • La configurazione +filter richiede stati privilegiati della palla ed è un limite superiore solo in simulazione, non qualcosa che possa girare sull'hardware
  • Per l'addestramento servono Linux x86_64 e una GPU NVIDIA; il percorso hardware richiede inoltre un Unitree G1, una telecamera ZED e un Unitree SDK compilato
  • Il prior AMP si basa su circa 100 secondi di movimento sottoposto a retargeting, un corpus piccolo per la gamma di comportamenti evasivi dichiarata
  • Le clip di movimento sono ottenute per retargeting dal dataset di motion capture NVIDIA SEED, che ha i propri termini: il repository le ridistribuisce solo per uso di ricerca
  • Due dipendenze del deployment sono fork personali dell'autore fissati come submodule (RealtimeEfficientTAM, unitree_sdk2_wrapper), quindi il percorso hardware poggia su repository mantenuti da una sola persona
  • Il repository si esegue dai sorgenti con PYTHONPATH anziché installarsi come pacchetto, il che rende scomodo usarlo come dipendenza da altro codice

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.