Interactive Perception

• 類別: Planning & manipulation › Manipulation
• 標籤: manipulation, perception, active-sensing, partial-observability, exploration

機器人透過推、拉或移動物體，刻意對環境施加動作，以揭露被動觀察無法提供之資訊的感知方式。

定義

互動式感知（Interactive perception）把物理互動視為感測的一部分。機器人不試圖從靜態的畫面推斷一切，而是採取改變場景的動作並觀察結果：推動一堆物體以分開相互接觸的物體、拉動抽屜以了解它如何移動、抬起箱子以估計其重量，或敲擊表面以聽出它是什麼材質。由已知動作造成的變化，攜帶著單張影像所隱藏的性質資訊，例如物體邊界、質量、摩擦與鉸接方式。

這個概念建立在主動感知之上（在主動感知中，機器人選擇把感測器指向哪裡或移到哪裡），但更進一步改變了世界本身。Jeannette Bohg 及其同事在 2017 年的一篇綜述中，把它描述為利用機器人的動作與這些動作所產生的感官訊號之間的規律性。形式上，機器人面對的是一個部分可觀測的問題：它關心的狀態是潛在的，選擇動作時既要降低對該狀態的不確定性，也要推進任務。這把互動式感知與 POMDP、貝氏狀態估計以及資訊蒐集規劃器連結起來。

它的用途從分割與鉸接估計，一直到判斷任務是否成功。例如在答案看不到時，機器人可以拉一拉門來檢查它是否已閂上，或搖一搖容器來判斷它是否是空的。代價是時間與風險：每個探索性動作都要花費力氣，也可能擾動或損壞場景，因此系統必須判斷什麼時候這些資訊值得進行互動。

為何重要

許多對操作很重要的性質，例如兩個物體是否相連、蓋子如何打開或某樣東西有多重，都無法從圖片中讀出。互動式感知為機器人提供了一種系統性的查明方法，讓操作在雜亂與陌生的環境中更可靠。

主要應用

• 估計門、抽屜與蓋子的鉸接方式
• 把物體推開以分割雜亂的場景
• 估計質量、摩擦與其他物理性質
• 在結果看不到時檢查任務是否成功
• 以觸覺探索物體形狀

實際應用

一台機器人被要求打開廚房裡陌生的櫥櫃。對每個把手，它抓住把手並施加一個小的探索性拉力，同時記錄夾爪的運動與腕部的力。如果把手沿直線移動，它就擬合一個滑動關節；如果沿圓弧移動，它就擬合一個旋轉關節並估計鉸鏈軸。估計出的模型接著在順應控制下引導完整的開啟動作，並隨著動作進行不斷修正估計。如果把手在安全的力限制下不會移動，機器人就把該櫥櫃記錄為上鎖或卡住，而不是更用力地拉。

常見誤解

• 互動式感知與主動感知相同 — 主動感知移動的是感測器，而互動式感知透過物理接觸改變環境
• 探索性動作是浪費時間 — 一次簡短的互動就能消除原本會造成抓取失敗或誤判成功與否的不確定性
• 它需要觸覺感測器 — 視覺、力矩感測、關節編碼器與聲音都能觀察到動作的效果

誰需要了解

• 操作研究人員
• 建構居家與服務型機器人的工程師
• 研究鉸接物體與可變形物體的感知研究人員
• 主動學習與資訊蒐集研究人員

相關技術

• 主動感知（Active Perception）
• 鉸接估計（Articulation Estimation）
• 貝氏濾波（Bayesian Filtering）
• 力矩感測（Force-Torque Sensing）
• 觸覺感測（Tactile Sensing）

相關術語

• Articulated object
• Robotic information gathering
• Partially Observable Markov Decision Process (POMDP)
• Force/Torque Sensor
• Tactile Sensor
• Affordance

相關專案

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation