Open Source Robotics

精選高品質的開源機器人專案、工具與軟體,推動機器人社群向前發展。

LeFranX

適用於搭配 XHand 之 Franka 機器手臂與 VR 遠端操作的 LeRobot 擴充套件

授權條款

Apache-2.0

概述

LeFranX 是一個 LeRobot 擴充套件,適用於搭配 XHand 機器手的 Franka FER 機器手臂。它是 LeVR 框架的一部分,用於模組化 VR 遠端操作與模仿學習。儲存庫包含用於即時控制的 Franka 伺服器、結合手部輸入與機器人控制的 VR 遠端操作介面,以及 LeRobot 類別實作。展示任務包括取放與各種操作情境,開源資料集可在 HuggingFace 上取得。

LeFranX 實作了 LeRobot 模仿學習框架的一個擴充,專門適用於搭配 XHand 機器手的 Franka FER 機器手臂。它是 LeVR 框架的一個實例,LeVR 是一套用於從示範中學習機器人技能的模組化 VR 遠端操作與資料流程。此專案包含三個主要元件:用於即時機器人控制的 franka_server、用於整合 VR 手部輸入的 franka_xhand_teleoperator,以及位於 src/lerobot 下的 LeRobot 類別實作。

為何重要

LeFranX 彌合了昂貴研究硬體與 LeRobot 軟體生態系之間的落差。透過將 Franka 手臂搭配 XHand 與 VR 遠端操作,它讓人能以容易上手的軟體堆疊,在專業級硬體上收集高品質的示範。

解決的問題

為 LeRobot 提供 Robot 與 Teleoperator 類別、一個 Franka 伺服器,以及搭配 XHand 之 Franka FER 的 VR 遠端操作。

重點

  • 結合 Franka FER 機器手臂與 XHand 機器手
  • LeVR 模組化 VR 遠端操作框架的一部分
  • 適用於 LeRobot 的 Robot 與 Teleoperator 類別、一個 Franka 伺服器,以及搭配 XHand 之 Franka FER 的 VR 遠端操作
  • 以 VR 為基礎的遠端操作,可直覺地收集示範
  • 模組化設計支援不同的機器人與機器手組合

適用對象

  • 擁有 Franka 手臂、正在收集示範資料的研究人員
  • 在專業硬體上建置模仿學習流程的團隊
  • 探索以 VR 遠端操作進行機器人學習的實驗室
  • 將 LeRobot 擴充到新機器人平台的開發者

限制

  • 沒有硬體需要組裝:LeFranX 是軟體擴充套件,你必須已經擁有一台 Franka FER 與一隻 XHand。
  • 僅在 LeRobot commit ce3b9f6、Ubuntu 24.04 與 Python 3.12 上測試。
  • 沒有 Franka Hand 夾爪的介面。
  • 遠端操作需要 VR 頭戴裝置

本網站需要 JavaScript 才能正常運作。請啟用 JavaScript 以瀏覽我們的開源機器人專案。