DeFM
Modelo fundacional de profundidad abierto para robots: un encoder congelado para navegar y agarrar
Licencia
Apache-2.0
Resumen
DeFM es un modelo fundacional para imágenes de profundidad, creado para robots por el Robotic Systems Lab de ETH Zurich junto con colaboradores de UC Berkeley, NVIDIA e Imperial College London. Hace para la profundidad lo que DINOv2 hace para las imágenes en color: un encoder transformador autosupervisado, entrenado con 60,4 millones de imágenes de profundidad, cuyas características pueden usarse congeladas en una gran variedad de tareas. El código está en GitHub y los 12 modelos preentrenados en Hugging Face, ambos bajo Apache-2.0.
Muchos robots ya perciben el mundo con una cámara de profundidad, y la profundidad es más fácil de simular con fidelidad que el color; por eso las políticas basadas en profundidad se transfieren bien desde la simulación (sim2real). Hasta ahora no existía un encoder preentrenado de uso general para esa modalidad. DeFM cubre ese hueco: los autores informan de resultados de vanguardia en clasificación y segmentación basadas en profundidad, y usan el mismo encoder congelado para aprendizaje por refuerzo en navegación, agarre diestro y locomoción con patas. El artículo está aceptado en IEEE Transactions on Robotics (T-RO) 2026 (arXiv 2601.18923).
El modelo más grande de DeFM es un ViT-L/14 de unos 304 millones de parámetros, entrenado desde cero con profundidad mediante un objetivo de autodestilación al estilo de DINOv2: una red estudiante ve recortes globales enmascarados y recortes locales, y aprende a imitar a un profesor de momento mediante las pérdidas de DINO e iBOT. No se usan etiquetas ni imágenes en color.
El conjunto de preentrenamiento tiene 60,4 millones de imágenes de profundidad de 18 datasets: 22,4M de sensores reales (como ScanNet, ARKitScenes, DROID y GraspNet-1Billion), 13,0M de simulación (como TartanAir, TartanGround e Hypersim) y 25,0M estimadas a partir de fotos en color de ImageNet-21k y SA-1B con un modelo de profundidad monocular. Para mantener la escala métrica desde milímetros al agarrar hasta unos 100 m al aire libre, cada mapa de profundidad se convierte en tres canales en escala logarítmica (uno relativo por imagen, uno cercano y uno lejano) antes de entrar en la red; de ello se encarga la función preprocess_depth_image del paquete.
Para robots con poca capacidad de cómputo, el profesor ViT-L se destila en once estudiantes más pequeños: un ViT-S/14 y encoders ResNet, RegNet y EfficientNet con cabeza BiFPN, hasta 3,01M de parámetros en EfficientNet-B0. El model zoo indica la latencia de cada uno en una RTX 4090 y en una Jetson Orin (por ejemplo, 8,67 ms para ResNet-18 en la Jetson a 224 × 224) y su precisión en ImageNet-1k-Depth. Los modelos se cargan con TorchHub o con el paquete defm de PyPI, y el repositorio incluye notebooks de PCA y los scripts de benchmark. Un explorador en el navegador y un Space de Hugging Face muestran qué fragmentos de la imagen considera similares el modelo en tu propia imagen de profundidad o RGB.
Por qué importa
Los modelos fundacionales de color como DINOv2 cambiaron la forma de construir la percepción robótica, pero los robots que actúan a partir de la profundidad seguían entrenando sus encoders desde cero para cada tarea. DeFM les da un backbone preentrenado común. En las pruebas de los autores, un único encoder DeFM congelado funcionó en navegación con un Unitree B2W con ruedas y patas, en agarre con un brazo KUKA y una mano Allegro, y en la escalada de escaleras de mano de ANYmal, donde alcanzó una tasa de éxito del 90,14 %, a 0,3 puntos de una CNN entrenada desde cero para esa tarea. Lo hizo sin recorte de profundidad ni modelos de ruido específicos de la tarea, tiene licencia abierta y sus versiones destiladas son lo bastante pequeñas para funcionar en una Jetson.
Qué problema resuelve
Una política robótica que ve a través de una cámara de profundidad necesita un encoder que convierta una profundidad ruidosa en características útiles. Entrenar uno por tarea desperdicia datos y suele sobreajustarse a la profundidad limpia del simulador, así que los equipos añaden recortes y modelos de ruido ajustados a mano para lograr la transferencia de la simulación a la realidad. DeFM lo sustituye por un encoder preentrenado cuyas características ya captan la geometría y las partes de los objetos en distintos sensores y escenas, en tamaños desde un profesor de 304M de parámetros hasta CNN de 3M de parámetros.
Puntos clave
- Un encoder autosupervisado al estilo de DINOv2 entrenado solo con profundidad: 60,4M de imágenes de 18 datasets reales, sintéticos y derivados de fotos
- 12 modelos publicados bajo Apache-2.0, desde un ViT-L/14 de 304M de parámetros hasta un EfficientNet-B0 de 3M, que se cargan con TorchHub o PyPI
- Una normalización de entrada de tres canales con conciencia métrica conserva la escala de profundidad desde milímetros hasta unos 100 m
- En los experimentos de los autores se usó el mismo encoder congelado para navegación, agarre diestro y escalada de escaleras de mano de un cuadrúpedo
- Aceptado en IEEE Transactions on Robotics (T-RO) 2026; los scripts de benchmark reproducen los resultados de sondeo lineal del artículo
Para quién es
- Investigadores en aprendizaje robótico que entrenan políticas basadas en profundidad en simulación para su despliegue real
- Ingenieros que necesitan un encoder de profundidad preentrenado y compacto para un ordenador embebido como una Jetson
- Investigadores en percepción que trabajan en clasificación de profundidad, segmentación y aprendizaje de representaciones
Limitaciones
- Solo es un encoder: DeFM produce características, así que cada tarea sigue necesitando su propia política o cabeza entrenada encima
- El conjunto de preentrenamiento de 60,4M de imágenes no está publicado; se compone de datasets de terceros con sus propias licencias
- Los datasets de benchmark publicados en Hugging Face (ImageNet-1k-Depth, TartanGround, GraspNet) no tienen licencia propia
- Los resultados con robots son experimentos de los propios autores en sus plataformas; el código para reproducir las tareas de aprendizaje por refuerzo no forma parte de la publicación
- La entrada debe ser profundidad métrica en metros, convertida con el preprocesado incluido; los estudiantes CNN necesitan lados de entrada múltiplos de 32