Task-Oriented Grasping

• 又稱: TOG, task-aware grasping
• 類別: Planning & manipulation › Manipulation
• 標籤: grasping, manipulation, affordances, tool-use, semantic-grasping

依照機器人接下來要用物體做什麼來選擇抓取方式，例如為了切割而握住刀柄，而不只看抓取的穩定性。

定義

大多數抓取規劃器只問一個問題：這個抓取能不能抓牢物體？任務導向抓取（Task-oriented grasping）多問了第二個問題：這個抓取能不能讓機器人完成預定的任務？捏住杯緣的馬克杯也許很穩，卻擋住了倒水；握住桿身的螺絲起子沒辦法轉動。因此，任務導向的抓取選擇結合了抓取穩定性與任務約束：物體的哪個部分可以碰觸、哪些接近方向能讓功能部位保持空出，以及執行任務時抓取必須抵抗哪些力與力矩。

方法隨時間演進。早期的解析研究以任務會施加在物體上的力旋量集合來描述任務，並偏好能抵抗該集合的抓取，例如 Li 與 Sastry 為多指手提出的任務導向抓取品質指標。後來的研究為物體部件及其可供性編碼，標註把手、刀刃或壺嘴等區域，並從標註了任務專屬抓取的物體資料集（例如 TaskGrasp）中學習哪些部件適合哪些任務。近期的零樣本方法先用通用抓取產生器產生許多穩定的候選抓取，再以語言加以排序：例如 LERF-TOGO 使用嵌入語言的輻射場，找出查詢中所指的物體部件，並保留位於該部件上的抓取。

任務導向抓取與可供性偵測密切相關，但並不相同。可供性圖說明動作可以發生在物體的哪裡；任務導向抓取則是在給定夾爪、機器人可及範圍與接下來動作的情況下，決定要執行哪一個具體的抓取。任務也可能牽涉另一個人：在遞交物體時，機器人通常會以讓把手空出並朝向接收者的方式抓取。

為何重要

會使用物體、而不只是搬動物體的機器人，如果拿錯方式，就得重新抓取或放棄。考慮任務的抓取選擇也會影響安全，例如把銳利的工具遞給人時。

主要應用

• 使用鐵鎚、螺絲起子與鍋鏟等工具
• 家庭與廚房中的操作
• 安全地把物體遞交給人
• 倒水與操作容器
• 零件一端必須保持空出以便插入的組裝

實際應用

一個廚房助理被要求把一把刀遞給某人。感知模組分割出刀子，抓取產生器沿著刀子提出許多平行夾爪抓取。一個部件層級的步驟，使用訓練好的部件分割器，或在視覺語言模型上進行語言查詢，把刀刃與刀柄區分開來。為了遞交，機器人保留讓刀柄空出並朝向對方的抓取；如果要它切割，則改為保留握在刀柄上的抓取。剩下的候選抓取會檢查可及性，以及手臂能否在不碰到關節極限的情況下完成接下來的動作。

常見誤解

• 穩定的抓取就是好的抓取 — 穩定性是必要條件，但不是充分條件；抓取還必須讓物體能用於該任務
• 每個物體只有一種正確的抓取 — 正確的抓取取決於任務；同一把刀在切割與遞交時握法不同
• 任務導向抓取需要為每個物體準備任務專屬的訓練資料 — 近期的零樣本方法用語言模型與視覺語言模型為通用候選抓取排序，不過專門的資料集在區分細小部件時仍有幫助

誰需要了解

• 研究工具使用的操作研究人員
• 抓取規劃工程師
• 研究物體遞交的人機互動研究人員
• 服務型機器人開發者

相關技術

• 抓取品質指標（Grasp Quality Metrics）
• 部件分割（Part Segmentation）
• 視覺語言模型（Vision-Language Models）
• 語言嵌入輻射場（Language Embedded Radiance Fields，LERF）
• TaskGrasp 資料集（TaskGrasp Dataset）
• 抓取姿態偵測（Grasp Pose Detection）

相關術語

• Grasp Planning
• Neural Radiance Field
• VLM
• Gripper
• Affordance
• Open-Vocabulary Detection

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments