Grasp Planning
- 又稱: Grasp Detection, Grasp Synthesis, Pick Planning
- 類別: Planning & manipulation › Manipulation
- 標籤: manipulation, grasping, perception, pick-and-place, planning
決定最佳夾爪定位與接近方式，以成功拿起物體的過程。
定義
抓取規劃是決定機器人應該如何定位夾爪並設定其朝向，才能成功拿起物體的過程。它串接感知（了解物體是什麼、在哪裡）與操作（與物體進行實體互動），因此是任何取放或操作任務的核心。
抓取規劃涉及幾個子問題： - 抓取位姿偵測：夾爪應該從哪裡、以什麼角度接近物體？這需要了解物體的幾何、表面特性與夾爪的能力。 - 抓取品質評估：規劃的抓取會穩定嗎？衡量指標包括力封閉（夾爪能否抵抗來自任何方向的干擾？）、形封閉與接觸點分布。 - 抓取的運動規劃：手臂應該如何移動，才能到達抓取位姿而不與環境碰撞？ - 抓取前與抓取後的軌跡：從安全的方向接近，並在不撞到周圍物體的情況下抬起。
抓取規劃的方法： - 解析方法：利用數學模型，從已知的物體幾何計算抓取方式。需要準確的 3D 模型，運算成本高。 - 資料驅動方法：訓練神經網路，從感測器輸入（RGB 影像、深度影像、點雲）預測抓取是否會成功。GraspNet、Contact-GraspNet 與 AnyGrasp 都是例子。 - 取樣式方法：產生大量候選抓取，以品質指標為每一個評分，再選出最好的。在真實世界應用中很實用。 - 學習式端對端策略：完全跳過明確的抓取規劃，由策略直接從視覺輸入輸出馬達指令來完成抓取。屬於行為複製與強化學習的方法。
針對未知物體的抓取規劃仍是活躍的研究領域。真實世界的挑戰包括透明物體、可變形物品、雜亂的場景，以及處於新奇朝向的物體。
為何重要
抓取規劃決定要在哪裡、以什麼方式握住物體：接觸哪些表面、從哪個方向接近、用多大的力。它是看見物體與對物體採取行動之間的步驟，而且比看起來困難得多，因為抓取必須在重力與干擾下保持穩定、手臂能在不碰撞的情況下到達，並且適合接下來要做的事。一個完全穩定、卻讓物體以錯誤朝向無法放置的抓取，仍然是失敗的。
主要應用
- 從混雜又雜亂的容器中揀取料件
- 處理各種產品形狀的倉儲訂單履行
- 組裝，抓取方式必須配合後續的插入
- 處理標準容器的實驗室自動化
- 採收形狀不規則又易損的農產品
- 處理不熟悉之家用物品的服務型機器人
實際應用
現代的流程會從深度攝影機的點雲中分割出物體、產生候選抓取、依穩定性與可到達性評分，並濾除手臂無法在不碰撞的情況下到達的抓取。學習式方法如今主導了候選產生這一步。一再出現的困難是透明與反光物體，它們產生不了可用的深度資料，以及雜亂的料箱，評分最高的抓取常被旁邊的物品擋住，這就是為什麼抓取規劃與運動規劃無法合理地分開。
常見誤解
- 穩定的抓取就是成功的抓取：它還必須到得了，並讓物體在下一步仍然可用
- 知道物體的形狀就夠了：質量分布、摩擦與表面處理都會改變什麼樣的抓取能握住
- 更大的夾持力可以彌補不好的抓取：它會壓碎柔軟的物品，也可能把剛性物體彈出
- 抓取規劃可以和運動規劃分開：如果手臂無法在不碰撞的情況下到達，最好的抓取也毫無價值
誰需要了解
- 任何建置取放或料箱揀取系統的人
- 根據要處理的物體挑選夾爪的工程師
- 整合感知與操作的開發者
- 想了解抓取為何仍是活躍研究領域的學生
- 任何機器人能成功拿起物體、卻以錯誤方式遞出的人
相關技術
- 力封閉
- 抓取品質指標
- 對蹠抓取
- 點雲處理
- 夾爪
- 靈巧操作
- 6 自由度位姿估計
- GraspNet
相關術語
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
影片
- Modern Robotics, Chapter 12: Grasping and Manipulation: Northwestern Robotics