Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

Hand Tracking Streamer

即時串流手部追蹤資料、用於機器人遠端操作的 Meta Quest 應用程式

授權條款

Apache-2.0

概述

Hand Tracking Streamer 是一款 Meta Quest VR 應用程式,可即時串流手部與手腕的動作資料,用於機器人遠端操作與動作捕捉。它建構在 Meta Interaction SDK 之上,擷取 21 個關鍵點的手部資料與 6 自由度的手腕姿態,透過 Wi-Fi 以 UDP(低延遲)或 TCP(可靠記錄)串流。這款應用程式支援左手、右手或雙手模式,可在頭戴裝置內設定,並提供即時日誌主控台與用於除錯的虛擬手視覺化。搭配的 Python SDK 提供結構化的影格解析、座標轉換與可直接用於 ROS2 的 API,便於整合進機器人流程。

Hand Tracking Streamer(HTS)是一款為即時手部遙測串流設計的 Meta Quest 應用程式。它為每隻手追蹤 21 個手部關鍵點與 6 自由度的手腕姿態,並透過 Wi-Fi 傳送結構化資料封包。系統可使用 UDP 進行超低延遲的機器人控制,或使用 TCP 進行可靠的資料記錄。資料以 CSV 編碼的關節位置與四元數方向傳送,座標為 Unity 世界空間。

搭配的 Python SDK(hand-tracking-sdk)提供簡潔的整合層:HTSClient 處理串流連線,HandFrameAssembler 將手腕與關鍵點資料合併為完整影格,內建的座標轉換器則處理從 Unity 左手座標系到右手座標系的轉換。透過明確的時間戳記與確定性的序列化,SDK 支援開發 ROS2 轉接器,而不強制相依 ROS。

實際應用包括機器人遠端操作(以 MuJoCo 模擬示範)、靈巧手的動作重定向、模仿學習資料收集,以及以手勢為基礎的原型開發。這個專案屬於同一作者更廣泛的生態系,其中還包括 BiDexHand(靈巧機器手)與 LeFranX(以 VR 遠端操作控制 Franka 機器手臂)。

為何重要

VR 手部追蹤正逐漸成為機器人遠端操作與模仿學習的關鍵輸入方式。Hand Tracking Streamer 免去自行建置 VR 串流基礎設施的門檻,提供一款完成度高的免費應用程式,並附有完善的 Python SDK。它讓研究人員不需要 Unity 或 VR 開發專業,就能快速建立以手部引導的機器人控制。

解決的問題

為機器人建立 VR 手部追蹤,需要大量的 Unity 開發、網路程式碼與資料解析基礎設施。HTS 提供即裝即用的解決方案:安裝 Quest 應用程式、以 pip install 安裝 SDK,幾分鐘內就能在 Python 中開始接收結構化的手部影格。

重點

  • 透過 Wi-Fi 即時串流 21 個關鍵點的手部資料與 6 自由度的手腕姿態
  • 在 Meta Quest Store 免費提供,搭配的 Python SDK 發布於 PyPI
  • 同時支援 UDP(低延遲控制)與 TCP(可靠記錄)
  • 可直接整合 ROS2,而不強制相依 ROS
  • 屬於完整 VR 遠端操作生態系的一部分(BiDexHand + LeFranX + HTS)

適用對象

  • 收集遠端操作示範資料的機器人研究人員
  • 以 VR 輸入打造模仿學習流程的團隊
  • 為以手勢控制機器人製作原型的開發者
  • 以手部動作重定向探索靈巧操作的實驗室

限制

  • 需要 Meta Quest 頭戴裝置(Quest 2、Pro、3 或 3S)
  • 頭戴裝置與接收端 PC 之間需要 Wi-Fi 連線
  • 手部追蹤精度取決於 Meta 內建手部追蹤的品質
  • 從原始碼建置需要 Unity 6000 以上版本

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。