Teleoperation
- 又稱: Telemanipulation, Remote Operation
- 類別: Control › Human in the loop
- 標籤: human-robot-interaction, control
由人遠端控制機器人，通常帶有視覺與觸覺回饋。
定義
遠端操作是由人即時遠端控制機器人。操作員透過機器人的攝影機或直接觀看，並移動輸入裝置，機器人隨之動作。輸入可以是搖桿或遊戲手把、搭配手持控制器的 VR 頭戴裝置、動作捕捉手套或外骨骼，或是主手臂：一支與機器人手臂相同、無動力或只有少許動力的複製品，由操作員用手移動，從動的機器人則跟著鏡像動作。
在需要人的判斷、但人無法或不宜到場的地方，遠端操作早已有所應用：手術、拆彈、核能與水下作業，以及太空。雙向系統也會透過觸覺裝置把力傳回給操作員，讓他們能感覺到機器人碰觸的東西。延遲是主要的實際限制；超過約一百毫秒，直接控制就會變得困難，操作員會轉而下達較高層次的指令。
在目前的機器人學習中，遠端操作首先是為模仿學習蒐集示範的主要方式。SO-101 與 ALOHA 等低成本主從設定，讓任何人都能錄製用來訓練操作策略的示範，因此遠端操作設備的品質與舒適度，直接影響學到之技能的品質。
為何重要
遠端操作是由人遠端操作機器人，它承擔兩種不同的工作。它把人的判斷力帶到機器人尚無法應付的地方，例如災區、手術、水下與太空；而且，它也越來越成為產生自主操作訓練資料的方式。第二個角色讓它成為現代機器人學習的核心：幾乎每一個以模仿學習得到的策略，一開始都是一個人在移動主手臂，而從手臂與它的攝影機在一旁記錄。
主要應用
- 為模仿學習蒐集示範資料
- 手術機器人，外科醫師與病人相距數公尺
- 危險環境：核能、水下、災害應變與排雷
- 跨越通訊延遲的太空與行星作業
- 基礎設施的遠端巡檢與維護
- 受監督的自主運作，在策略卡住時由人接手
實際應用
主從配置是必須了解的配置：操作員移動一支輕量的主手臂，從手臂則鏡像它的關節角度，這正是 SO-101 與 ALOHA 式設定成對販售的原因。延遲是主宰一切的特性：低於大約一百毫秒，任務感覺起來是直接的；超過之後，操作員就開始過衝與振盪。力回饋從另一個方向閉合迴路，而缺少它，正是遠端操作的插入與組裝比看起來困難得多的原因。
常見誤解
- 遠端操作是自主的反面：它是自主系統訓練資料的主要來源
- 只要多練習，任何延遲都能忍受：超過大約一百毫秒，操作員就會系統性地過衝
- 主手臂必須與從手臂一模一樣：它需要相同的運動學，而不是相同的力量或構造
- 力回饋是奢侈品：沒有它，插入等大量接觸的任務會困難得多
誰需要了解
- 任何為學習式操作策略蒐集示範的人
- 指定經由實際有延遲之網路進行遠端操作的工程師
- 好奇研究用手臂為何成對以主從組合販售的採購者
- 想了解機器人訓練資料實際從何而來的學生
- 任何為遠端機器設計操作員介面的人
相關技術
- 觸覺回饋與雙向遠端操作
- 共享自主
- 行為複製
- WebRTC 與低延遲影像串流
- 以 VR/AR 為基礎的操作員介面
- 用於預測顯示的數位孿生
- 力/力矩感測
- 網路服務品質（QoS）
相關術語
相關專案
- Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
- MuJoCo MPC: DeepMind's interactive real-time model predictive control framework for MuJoCo
- Reachy Mini: Open-source desktop robot from Pollen and Hugging Face with an expressive 6-DoF head
- PyPose: PyTorch library for differentiable robotics with deep learning and Lie group optimization
- ros2_control: Hardware abstraction framework for ROS 2 enabling portable robot control code
- safe-control-gym: Benchmark suite for safe learning-based control: RL and MPC under one API
影片
- What is teleoperation in robotics?: Robots Explained