Dexterous Manipulation

又稱: dexterous grasping, in-hand manipulation, fine manipulation
類別: Planning & manipulation › Manipulation
標籤: manipulation, dexterous-manipulation, robotic-hand

機器人使用多指機器手熟練地拿取與重新擺放物體的能力，可實現類似人類的工具使用與精細操作。

定義

靈巧操作指的是機器人使用多指機器手或特殊夾爪，熟練地拿取、重新擺放物體並與之互動的能力，其多用途程度接近人手。簡單的取放作業是由平行夾爪以單一姿態夾住物體再移動；靈巧操作則不同，涉及在手中持續重新擺放、手指交替移位、使用工具，以及依物體幾何、重量與摩擦即時調整的抓取策略。

靈巧操作的挑戰位於硬體設計、感測與控制的交會處。在硬體方面，靈巧機器手通常在四或五根手指上具有 12–24 個自由度，每根手指都有多個獨立驅動的關節。致動方式從肌腱驅動系統（由遠端的馬達拉動穿過手指的纜線）到在每個關節內嵌入小型馬達的直驅設計都有。感測需求同樣嚴苛：指尖上的觸覺感測器陣列提供接觸力與滑動偵測，關節編碼器與視覺系統則追蹤機器手與物體的狀態。

靈巧操作的控制策略已從純粹以模型為基礎的方法（由解析接觸模型與抓取規劃器計算手指軌跡）演進到現代以學習為基礎的方法。在模擬中進行的強化學習，已經訓練出能旋轉方塊、翻轉工具並以驚人流暢度操作可變形物體的策略。模擬到現實（Sim2Real）遷移技術，包括領域隨機化與師生蒸餾，彌合了模擬訓練與真實世界部署之間的落差。

近期的突破來自大規模模擬訓練與高擬真觸覺感測及順應性硬體的結合。LEAP Hand 與 Allegro Hand 等專案已成為標準的研究平台，而以多樣操作資料訓練的基礎模型也開始能在不針對特定任務重新訓練的情況下，泛化到不同類別的物體上。

為何重要

靈巧操作是目前的工業機器人與人類等級物理智慧之間的能力落差。如今大多數機器人只能用簡單的夾爪執行固定的取放任務，因此只能在物體已知的結構化環境中工作。實現靈巧操作，將讓機器人能投入非結構化的任務，例如家務、手術、電子組裝與農業，這些領域中的物體在形狀、易碎程度與所需處理策略上各不相同。它被普遍認為是機器人領域最困難的未解問題之一，而近期透過模擬到現實（Sim2Real）學習取得的進展，讓它成為最活躍的研究前沿之一。

主要應用

手中物體重新定向：在握持中旋轉並重新擺放物體而不必放下，對組裝與工具使用至關重要
手術機器人：以微創手術所需的精度與靈巧度操作縫線、縫針與組織
電子組裝：處理需要指尖等級精度的小型易碎元件，例如連接器、纜線與 PCB
食品處理：抓取並包裝農產品等可變形、不規則的物品，而不造成碰傷或損壞
義肢手：透過具觸覺回饋的多指義肢，為截肢者恢復精細的動作控制
混合物件的料箱揀取：伸入雜亂的料箱，取出形狀、尺寸與材質各異的特定物品

實際應用

OpenAI 早期的機器人研究展示了一隻 Shadow Dexterous Hand 以完全在模擬中訓練的強化學習解開魔術方塊。該系統使用自動領域隨機化，在訓練期間改變物理參數、光線與物體屬性，讓策略不需微調就能遷移到真實的機器手上。這隻機器手的 24 個自由度由一個神經網路控制，該網路處理指尖位置回饋，以及由視覺系統取得的方塊方向。雖然它還不夠可靠，無法用於量產，但這證明了複雜的靈巧行為可以從大規模模擬訓練中產生，並建立了許多後續靈巧操作專案所依循的範本。

常見誤解

靈巧操作需要五指機器手：許多靈巧系統使用三或四根手指；關鍵在於協調的多點接觸控制，而不是模仿人體構造
自由度越多就越靈巧：一隻設計良好、感測完善的 12 自由度機器手，表現可能勝過控制不佳的 24 自由度機器手；感測與軟體與硬體同樣重要
靈巧操作在模擬中已經解決：雖然模擬到現實（Sim2Real）已有令人印象深刻的展示，但能在多樣物體上可靠運作的真實世界靈巧操作仍是一項開放的挑戰
軟性夾爪本身就比較靈巧：軟性夾爪擅長貼合物體形狀，但通常缺乏真正靈巧操作任務所需的精確手指層級控制

誰需要了解

研究操作與抓取的機器人研究人員
設計機器手與末端執行器的工程師
為實體任務開發模擬到現實（Sim2Real）遷移的 AI 研究人員
打造先進多指機器手的義肢工程師
評估機器人能否用於複雜組裝任務的製造工程師

影片

Teaching Robots Dexterous Hand Manipulation: MIT CSAIL
IMPRESSIVE Robotic Hand from Sharpa #icra2025: Kevin Wood | Robotics & AI

Open Source Robotics