Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

MINT

將一般的第一人稱影片轉換成世界座標空間中的手部與相機運動

授權條款

MIT

MIT 授權涵蓋程式碼、權重與釋出的標註。2026-09-16 查核:這 1,021 小時標註所描述的原始影片並未重新散布。README 指出,原始影片與另行授權的資產必須依其各自的存取條款取得,因此只有在你已經能取得它所索引的影像時,這個資料集才可用。

概述

MINT 接收一般的第一人稱 RGB 影片,以單一模型預測相機如何移動,以及雙手的位置、方向與運動,再將這些合成為世界座標空間的輸出。取得這類資料的常見途徑是一條流程:校正、單目深度、SLAM、手部重建與軌跡清理,每一步都是獨立的模型,各有自己的授權,也各有會向下傳遞的誤差。MINT 在推論時以單一時空表示取代這條流程,並將它送入四個輸出頭:相機外參、視野、相機座標系下的 MANO,以及逐影格的手部存在判斷,再透過明確的剛體合成,不需要深度圖或點雲。這次釋出包含權重、訓練與推論程式碼、網頁檢視器,以及涵蓋 1,021 小時第一人稱影像的結構化標註。

值得注意的是這條流程被移到了哪裡,而不是它被移除了。EgoPipeline,也就是傳統的堆疊,仍然會被使用,但改為離線執行,用來產生結構化的相機與手部監督訊號;MINT 再從這些標籤中學習。作者明確指出,這些監督訊號是偽標籤,而非真值,README 中也展示了對照影格:傳統流程把雙手放在離真實雙手有段距離的位置,MINT 則讓它們保持在正確位置上。因此,它的主張是攤銷:昂貴的多模型堆疊只在資料集上執行一次,之後新的影片只需要一次前向傳遞。

實務上,推論與檢視透過網頁檢視器在至少有 24 GB VRAM 的 NVIDIA GPU 上執行,長影片則以視窗分段處理,並將相機軌跡跨視窗串接起來。權重以 mint_v1 之名同時發布在 Hugging Face 與 ModelScope 上,標註資料集也以相同方式發布:涵蓋 1,021 小時、不含影片的結構化標註,另附 EgoPipeline 編排、清理與匯出的參考程式碼。專案頁面展示了重定向到 MuJoCo 中 Wuji 機器手上的預測結果,這就是從人類影片通往機器人的路線:機器人領域之所以有人在意第一人稱手部重建,是因為它是目前最便宜的操作示範來源。

為何重要

每個訓練操作策略的人,都想把人類影片當作資料來源,而擋在路上的問題是:原始影像不帶有世界座標空間中的手部或相機運動。要取得這些資訊,過去意味著要組合五個模型,並接受每一個模型的授權與誤差預算。一個採用 MIT 授權、權重開放、一次就能完成的單一模型,改變了這一步的成本;同時發布 1,021 小時的結構化標註,也意味著輸出結果可以被檢驗,而不只是宣稱。

解決的問題

人類的第一人稱影片是最便宜的大型操作示範來源,也是最難使用的,因為原始影像中沒有任何資訊說明雙手在空間中的位置。MINT 直接從 RGB 產生這些資訊,因此建立示範資料集不再需要為每個專案量身打造多模型流程。

重點

  • 推論時以一個模型取代五階段的流程:從共用的時空表示得出相機外參、視野、相機座標系下的 MANO 與逐影格的手部存在判斷
  • 世界座標空間中的手部運動來自明確的剛體合成,因此推論時不需要深度圖或點雲
  • 發布了 1,021 小時的結構化第一人稱標註,權重則同時發布在 Hugging Face 與 ModelScope 上
  • EgoPipeline 仍然存在,但改為離線執行以產生監督訊號:作者稱其輸出為偽標籤而非真值,並展示了它把手放錯位置的情形
  • 長影片以視窗分段處理,相機軌跡跨視窗邊界串接
  • 專案頁面展示了重定向到 MuJoCo 中 Wuji 機器手上的預測結果,這就是從人類影片通往機器人策略的路徑

適用對象

  • 以人類影片而非遠端操作建立操作資料集的團隊
  • 第一人稱視覺與手部重建研究人員
  • 在模擬中將人類手部運動重定向到機器手上的任何人
  • 需要世界座標空間運動標籤、卻負擔不起儀器化擷取硬體的團隊

限制

  • 推論需要至少有 24 GB VRAM 的 NVIDIA GPU,這排除了大多數筆記型電腦
  • 依作者自己的描述,監督訊號是偽標籤:MINT 以一條流程的輸出訓練,因此它的上限取決於那條流程在訓練資料集上的表現
  • 這 1,021 小時只有標註;原始影片並未重新散布,必須依其各自的條款取得,因此只有在你已經能取得那些影像時,這個資料集才可用
  • 輸出僅有雙手與一台相機:沒有物體、沒有場景幾何,也沒有接觸資訊
  • 長影片由視窗拼接而成,因此跨邊界的軌跡漂移是方法本身的特性,而不是實作細節
  • 論文(arXiv 2609.04958)是預印本,尚未有發表場合

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。