Articulated object

• 類別: Planning & manipulation › Manipulation
• 標籤: manipulation, 3d-perception, kinematics, mobile-manipulation, household-robotics

由以關節（通常是旋轉或滑動關節）相連的剛性部件組成的物體，例如門、抽屜、筆電或烤箱，當機器人操作它時，各部件會彼此相對移動。

定義

鉸接物體（Articulated object）由以關節相連的剛性連桿組成，這些關節允許受約束的相對運動。在機器人操作中，這些關節通常只有一個自由度：門、蓋子與筆電螢幕使用旋轉關節，抽屜與滑動面板使用滑動關節。包括 FlowBot3D 在內的許多問題表述都假設有一個連桿固定在世界座標中，例如櫃體或烤箱，因此任務是移動其他部件。一般而言，剪刀、鉗子或桌上的筆電這類鉸接物體也可能整體移動。

操作這類物體意味著必須遵守運動學約束。開門的機器人必須讓手沿著繞鉸鏈軸的圓弧移動；直接往後拉會產生很大的內力，或是失去抓取。各種方法的差別在於建模的程度。以模型為基礎的流程會明確估計運動學結構：哪些部件是連桿、關節類型、軸的方向與位置，以及目前的關節狀態，通常是透過觀察部件移動並擬合旋轉或滑動模型來完成。以學習為基礎的方法則從單一點雲或影像預測這個結構，或略過它，直接預測局部量，例如給出部件上每個點移動方向的鉸接流（articulation flow），或是標示在哪裡抓取與拉動的可供性圖（affordance map）。互動式感知結合兩者：機器人把部件移動一點，觀察結果並更新估計。

鉸接物體通常以和機器人相同的方式表示，也就是用 URDF 等格式表示為運動學樹。PartNet-Mobility 等模擬資料集搭配 SAPIEN 模擬器使用，提供大量帶有標註的居家物體，供訓練與測試之用。實務上的困難包括未知的關節極限、摩擦與彈簧負荷、需要另外動作的門閂與把手，以及關節軸被遮住的局部視角。

為何重要

日常建成環境中有很大一部分是鉸接的：門、抽屜、櫥櫃、冰箱與家電。居家與服務型機器人必須能可靠地開關它們，而這需要對運動學約束進行推理，而不是把目標當成一個自由的剛體。

主要應用

• 在住家與辦公室中開啟門、抽屜與櫥櫃
• 操作烤箱、洗碗機與冰箱等家電
• 居家移動操作基準
• 建立室內場景的互動式數位孿生
• 使用鉗子與剪刀等帶鉸鏈的工具

實際應用

一個為移動機械手臂撰寫程式、讓它打開廚房櫥櫃的團隊，以深度攝影機擷取櫥櫃的點雲。一個網路分割出櫃門，並預測鉸鏈軸或逐點的運動方向，系統再選擇在把手或門邊上的抓取位置。接著機器手臂在阻抗控制下沿著預測的圓弧移動，讓軸估計的誤差被順應性吸收，而不是累積成很大的力。櫃門一旦稍微移動，系統就根據手的實際路徑重新估計軸，並沿著修正後的圓弧繼續，在量測到的力顯示已達關節極限時停止。

常見誤解

• 開門是純粹的位置控制問題 — 手必須遵循關節的約束，因此順應或力控制與精確的位置同樣重要
• 行動之前必須精確知道關節軸 — 許多系統從粗略的估計開始，並在互動過程中逐步修正
• 鉸接物體一定固定在世界中 — 許多基準為了簡化而假設基座固定，但工具與可攜式裝置也會整體移動

誰需要了解

• 移動操作與居家操作工程師
• 從事 3D 場景理解的機器人感知研究人員
• 模擬與資料集建構者
• 服務型機器人開發人員

相關技術

• PartNet-Mobility 資料集（PartNet-Mobility Dataset）
• SAPIEN 模擬器（SAPIEN Simulator）
• URDF
• 點雲分割網路（Point Cloud Segmentation Networks）
• 運動學結構估計（Kinematic Structure Estimation）

相關術語

• Interactive Perception
• URDF
• Impedance Control
• Point Cloud
• Joint
• Affordance

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design