Category-Level Manipulation

• 類別: Planning & manipulation › Manipulation
• 標籤: manipulation, generalization, pose-estimation, 3d-perception, imitation-learning

能泛化到某一物體類別所有實例的操作，例如任何馬克杯或任何抽屜，包括從未見過、也沒有 CAD 模型的實例。

定義

類別層級操作（Category-level manipulation）旨在賦予機器人適用於某一物體類別中任何成員、而非僅限於某一特定物體的技能。一台學會把馬克杯掛在杯柄上的機器人，應該能掛起一個形狀、大小與顏色都不同、從未見過的馬克杯，而不需要取得它的 3D 模型。它介於實例層級操作與完全通用的任意物體操作之間：在實例層級操作中，每個物體都有已知的 CAD 模型。

核心難點在於同一類別中的實例形狀各不相同，因此固定的物體姿態對每個實例並不代表相同的意義。所以，類別層級方法會在整個類別上定義一種共享的、與任務相關的表徵。例子包括：在正規化標準座標系中的類別層級姿態，如用於 6D 姿態與尺寸估計的 NOCS；語意關鍵點的集合，例如馬克杯的杯口中心與杯柄，如 kPAM；以及把不同實例上的對應點映射到相似特徵的稠密學習描述子，如 Neural Descriptor Fields。接著以這種表徵來描述任務，例如關鍵點之間的目標關係，或相對於標準座標系的夾爪姿態，並透過在新實例上估計該表徵，將任務轉移到新實例。

一個吸引人之處是資料效率：原則上，在一個實例上的單次示範，就能透過共享表徵轉移到所有其他實例。代價是類別必須事先定義，訓練需要每個類別有大量實例（通常來自合成形狀資料集），而且在幾何形狀或功能偏離訓練集的不尋常成員上，效能會下降。

為何重要

真實的住家、倉庫與實驗室中，同一類物體有許多變體，為每一個都提供 CAD 模型或新的示範並不實際。類別層級方法讓一次教會的技能適用於一整個物體家族，這是機器人在固定工業環境以外工作的前提。

主要應用

• 涉及馬克杯、瓶子、碗與餐具的家務任務
• 打開設計各異的抽屜、門與其他鉸接物體
• 倉庫中產品變體的配套揀貨與取放
• 把單次示範轉移到新的物體實例
• 依工具的功能部位進行任務導向抓取

實際應用

某團隊希望機器人把馬克杯直立放到杯架上。他們以隨機紋理算繪的合成馬克杯模型，訓練一個類別層級的姿態與關鍵點估測器，並錄製一次示範：抓取時夾爪相對於杯柄關鍵點的姿態，以及馬克杯標準座標系相對於杯架掛釘的目標姿態。運作時，深度攝影機分割出一個新的馬克杯，網路預測其標準姿態與關鍵點，儲存的抓取與放置會針對這個實例重新表示，再由運動規劃器產生手臂軌跡。杯柄形狀不尋常的馬克杯上發生的失敗會被記錄下來，並作為額外的形狀加入訓練集。

常見誤解

• 類別層級方法仍需要每個物體的 CAD 模型 — 其目標是只用為整個類別學到的表徵來處理未見過的實例
• 任何寬泛的物體類別都能算作一個類別 — 這些方法通常仰賴共同的幾何與功能，例如馬克杯或筆記型電腦，難以處理工具這類定義鬆散的類別
• 物體的中心與方向足以轉移一項技能 — 由於形狀各不相同，杯柄或杯口等與任務相關的部位通常需要各自的關鍵點或對應關係

誰需要了解

• 研究泛化的操作研究人員
• 建構物體姿態估測器的感知工程師
• 家用與服務型機器人開發人員
• 模仿學習實務工作者

相關技術

• 類別層級 6D 姿態估測（Category-Level 6D Pose Estimation）
• NOCS
• kPAM
• Neural Descriptor Fields
• 語意關鍵點（Semantic Keypoints）
• ShapeNet

相關術語

• Task-Oriented Grasping
• Affordance
• Articulated object
• Imitation Learning
• Point Cloud
• Equivariance

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

影片

• Lecture 14 | MIT 6.881 (Robotic Manipulation), Fall 2020 | Category-level Manipulation: underactuated