Open Source Robotics

Una raccolta curata di progetti, strumenti e software di robotica open source di alta qualità per la comunità della robotica.

DeFM

Foundation model aperto per la profondità per robot: un unico encoder congelato per navigazione e presa

Licenza

Apache-2.0

Panoramica

DeFM è un foundation model per immagini di profondità, costruito per i robot dal Robotic Systems Lab dell'ETH di Zurigo con collaboratori di UC Berkeley, NVIDIA e Imperial College London. Fa per la profondità ciò che DINOv2 fa per le immagini a colori: un encoder Transformer auto-supervisionato, addestrato su 60,4 milioni di immagini di profondità, le cui feature possono essere usate congelate per un'ampia gamma di compiti. Il codice è su GitHub e tutti i 12 modelli pre-addestrati sono su Hugging Face, entrambi con licenza Apache-2.0.

Molti robot percepiscono già il mondo attraverso una telecamera di profondità, e la profondità è più facile da simulare fedelmente rispetto al colore, motivo per cui le policy basate sulla profondità si trasferiscono bene dalla simulazione alla realtà (sim-to-real, sim2real). Finora non esisteva un encoder pre-addestrato di uso generale per questa modalità. DeFM colma la lacuna: gli autori riportano risultati allo stato dell'arte nella classificazione e segmentazione basate sulla profondità, e usano lo stesso encoder congelato per l'apprendimento per rinforzo nella navigazione, nella presa con mani ad alta destrezza e nella locomozione con zampe. L'articolo è stato accettato su IEEE Transactions on Robotics (T-RO) 2026 (arXiv 2601.18923).

Il modello più grande di DeFM è un ViT-L/14 con circa 304 milioni di parametri, addestrato da zero sulla profondità con un obiettivo di auto-distillazione in stile DINOv2: una rete studente vede ritagli globali mascherati e ritagli locali e impara a corrispondere a un insegnante a momento attraverso le loss DINO e iBOT. Non vengono usate etichette né immagini a colori.

L'insieme di pre-addestramento conta 60,4 milioni di immagini di profondità da 18 dataset: 22,4M da sensori reali (come ScanNet, ARKitScenes, DROID e GraspNet-1Billion), 13,0M dalla simulazione (come TartanAir, TartanGround e Hypersim) e 25,0M stimate da foto a colori di ImageNet-21k e SA-1B con un modello di profondità monoculare. Per mantenere la scala metrica dai millimetri della presa fino a circa 100 m all'aperto, ogni mappa di profondità viene trasformata in tre canali in scala logaritmica (un canale relativo per immagine, un canale vicino e un canale lontano) prima di entrare nella rete; la funzione preprocess_depth_image del pacchetto se ne occupa.

Per i robot con poca capacità di calcolo, l'insegnante ViT-L viene distillato in undici studenti più piccoli: un ViT-S/14 ed encoder ResNet, RegNet ed EfficientNet con una testa BiFPN, fino a 3,01M di parametri per EfficientNet-B0. Il model zoo riporta per ciascuno la latenza su una RTX 4090 e su una Jetson Orin (per esempio 8,67 ms per ResNet-18 sulla Jetson a 224 × 224) e la precisione su ImageNet-1k-Depth. I modelli si caricano tramite TorchHub o il pacchetto defm su PyPI, e il repository include notebook PCA e gli script di benchmark. Un esploratore nel browser e uno Space di Hugging Face mostrano quali patch dell'immagine il modello considera simili sulla propria immagine di profondità o RGB.

Perché è importante

I foundation model per il colore come DINOv2 hanno cambiato il modo in cui si costruisce la percezione dei robot, ma i robot che agiscono sulla profondità continuavano ad addestrare i propri encoder da zero per ogni compito. DeFM offre loro un backbone pre-addestrato condiviso. Nei test degli autori, un unico encoder DeFM congelato ha funzionato nella navigazione su un robot a zampe con ruote Unitree B2W, nella presa con un braccio KUKA e una mano Allegro, e nell'arrampicata su scala di ANYmal, dove ha raggiunto un tasso di successo del 90,14%, entro 0,3 punti da una CNN addestrata da zero per quel compito. Lo ha fatto senza ritaglio della profondità né modelli di rumore specifici per il compito, ha una licenza aperta ed è abbastanza piccolo nelle sue versioni distillate da girare su una Jetson.

Il problema che risolve

Una policy robotica che vede attraverso una telecamera di profondità ha bisogno di un encoder che trasformi la profondità rumorosa in feature utili. Addestrarne uno per ogni compito spreca dati e spesso porta a un overfitting sulla profondità pulita del simulatore, così i team aggiungono ritagli e modelli di rumore regolati a mano per ottenere il trasferimento sim-to-real. DeFM sostituisce tutto questo con un encoder pre-addestrato le cui feature catturano già geometria e parti degli oggetti tra sensori e scene diversi, in dimensioni che vanno da un insegnante da 304M di parametri fino a CNN da 3M di parametri.

Punti chiave

  • Un encoder auto-supervisionato in stile DINOv2 addestrato solo sulla profondità: 60,4M di immagini da 18 dataset reali, sintetici e derivati da foto
  • 12 modelli rilasciati con licenza Apache-2.0, da un ViT-L/14 da 304M di parametri a un EfficientNet-B0 da 3M di parametri, caricabili tramite TorchHub o PyPI
  • Una normalizzazione dell'input a tre canali consapevole della scala metrica mantiene la scala della profondità dai millimetri fino a circa 100 m
  • Negli esperimenti degli autori lo stesso encoder congelato è stato usato per la navigazione, la presa con mani ad alta destrezza e l'arrampicata su scala di un quadrupede
  • Accettato su IEEE Transactions on Robotics (T-RO) 2026; gli script di benchmark riproducono i risultati di linear probe dell'articolo

A chi si rivolge

  • Ricercatori di apprendimento robotico che addestrano in simulazione policy basate sulla profondità per l'impiego reale
  • Ingegneri che hanno bisogno di un encoder di profondità pre-addestrato e compatto per un computer embedded come una Jetson
  • Ricercatori di percezione che lavorano su classificazione e segmentazione della profondità e apprendimento delle rappresentazioni

Limiti

  • Solo encoder: DeFM produce feature, quindi ogni compito richiede comunque una propria policy o testa addestrata sopra
  • L'insieme di pre-addestramento da 60,4M di immagini non è rilasciato; è composto da dataset di terze parti con le rispettive licenze
  • I dataset di benchmark pubblicati su Hugging Face (ImageNet-1k-Depth, TartanGround, GraspNet) non hanno una licenza propria
  • I risultati sui robot sono esperimenti degli autori sulle loro piattaforme; il codice per riprodurre i compiti RL non fa parte della release
  • L'input deve essere profondità metrica in metri, convertita con la pre-elaborazione fornita; gli studenti CNN richiedono lati dell'input multipli di 32

Questo sito richiede JavaScript. Attiva JavaScript per esplorare i nostri progetti di robotica open source.