DeFM
開源的機器人深度基礎模型:一個凍結編碼器即可用於導航與抓取
授權條款
Apache-2.0
概述
DeFM 是一個針對深度影像的基礎模型,由蘇黎世聯邦理工學院(ETH Zurich)的 Robotic Systems Lab 與 UC Berkeley、NVIDIA 及倫敦帝國學院(Imperial College London)的合作者為機器人打造。它之於深度影像,就如同 DINOv2 之於彩色影像:一個自監督的 Transformer 編碼器,以 6,040 萬張深度影像訓練,其特徵可在凍結狀態下用於各種任務。程式碼放在 GitHub,全部 12 個預訓練模型則放在 Hugging Face,兩者皆採用 Apache-2.0 授權。
許多機器人本來就透過深度攝影機感知世界,而深度比彩色更容易被忠實模擬,這也是以深度為基礎的策略在模擬到現實(sim2real)轉移上表現良好的原因。在此之前,這種模態並沒有通用的預訓練編碼器。DeFM 填補了這個空缺:作者報告其在以深度為基礎的分類與分割上取得最先進的成果,並使用同一個凍結編碼器,在導航、靈巧抓取與足式行走運動中進行強化學習。論文已獲 IEEE Transactions on Robotics(T-RO)2026 接受(arXiv 2601.18923)。
DeFM 最大的模型是 ViT-L/14,約有 3.04 億個參數,以 DINOv2 式的自蒸餾目標直接在深度資料上從頭訓練:學生網路看到經遮罩的全域裁切與局部裁切,並透過 DINO 與 iBOT 損失學習對齊動量教師網路。訓練過程不使用任何標籤,也不使用彩色影像。
預訓練資料集包含來自 18 個資料集的 6,040 萬張深度影像:22.4M 張來自真實感測器(例如 ScanNet、ARKitScenes、DROID 與 GraspNet-1Billion),13.0M 張來自模擬(例如 TartanAir、TartanGround 與 Hypersim),25.0M 張則是以單目深度模型從 ImageNet-21k 與 SA-1B 的彩色照片估計而得。為了涵蓋從抓取時的毫米級到戶外約 100 m 的公制尺度,每張深度圖在輸入網路之前都會轉換為三個對數尺度的通道(一個逐影像的相對通道、一個近距通道與一個遠距通道);套件中的 preprocess_depth_image 函式即負責這項處理。
針對運算資源有限的機器人,ViT-L 教師模型被蒸餾成十一個較小的學生模型:一個 ViT-S/14,以及搭配 BiFPN 頭的 ResNet、RegNet 與 EfficientNet 編碼器,最小為 EfficientNet-B0 的 3.01M 個參數。模型庫列出了每個模型在 RTX 4090 與 Jetson Orin 上的延遲(例如 ResNet-18 在 Jetson 上以 224 × 224 執行時為 8.67 ms),以及其 ImageNet-1k-Depth 準確率。模型可透過 TorchHub 或 PyPI 上的 defm 套件載入,儲存庫也附有 PCA 筆記本與評測腳本。瀏覽器探索工具與一個 Hugging Face Space 可在你自己的深度或 RGB 影像上,顯示模型認為哪些影像區塊彼此相似。
為何重要
DINOv2 等彩色基礎模型改變了機器人感知的建構方式,但依靠深度行動的機器人,仍然每項任務都要從頭訓練編碼器。DeFM 為它們提供了一個共用的預訓練骨幹網路。在作者的測試中,單一凍結的 DeFM 編碼器可用於 Unitree B2W 輪足式機器人的導航、KUKA 手臂搭配 Allegro 機器手的抓取,以及 ANYmal 攀爬梯子,在攀梯任務中達到 90.14% 的成功率,與為該任務從頭訓練的 CNN 相差不到 0.3 個百分點。它無需針對任務的深度裁切或雜訊模型即可做到這點,而且採用開放授權,蒸餾後的版本也小到足以在 Jetson 上執行。
解決的問題
透過深度攝影機感知的機器人策略,需要一個能把含雜訊的深度資料轉換為有用特徵的編碼器。為每項任務各自訓練一個編碼器會浪費資料,且常會過度擬合模擬器中乾淨的深度資料,因此團隊會加上手動調整的裁切與雜訊模型,以實現模擬到現實(sim-to-real)轉移。DeFM 以預訓練編碼器取代這些做法,其特徵已能跨感測器與場景捕捉幾何形狀與物體部件,尺寸從 304M 參數的教師模型到 3M 參數的 CNN 都有。
重點
- 僅以深度資料訓練的 DINOv2 式自監督編碼器:來自 18 個真實、合成與照片衍生資料集的 60.4M 張影像
- 以 Apache-2.0 授權釋出 12 個模型,從 304M 參數的 ViT-L/14 到 3M 參數的 EfficientNet-B0,可透過 TorchHub 或 PyPI 載入
- 具公制尺度感知的三通道輸入正規化,可保留從毫米到約 100 m 的深度尺度
- 在作者的實驗中,同一個凍結編碼器被用於導航、靈巧抓取與四足機器人攀爬梯子
- 已獲 IEEE Transactions on Robotics(T-RO)2026 接受;評測腳本可重現論文中的線性探測結果
適用對象
- 在模擬中訓練以深度為基礎的策略、以供真實部署的機器人學習研究人員
- 需要可用於 Jetson 等嵌入式電腦之精簡預訓練深度編碼器的工程師
- 從事深度分類、分割與表徵學習的感知研究人員
限制
- 僅有編碼器:DeFM 產生的是特徵,因此每項任務仍需在其上訓練自己的策略或輸出頭
- 60.4M 張影像的預訓練資料集並未公開;它由各自採用不同授權的第三方資料集組成
- 發布在 Hugging Face 上的評測資料集(ImageNet-1k-Depth、TartanGround、GraspNet)本身並未附帶授權
- 機器人實驗結果是作者在自己平台上進行的實驗;重現強化學習任務的程式碼不在此次釋出內容中
- 輸入必須是以公尺為單位的公制深度,並以所提供的前處理進行轉換;CNN 學生模型的輸入邊長須為 32 的倍數