Affordance
- 又稱: affordances, affordance detection, action possibilities
- 類別: Planning & manipulation › Manipulation
- 標籤: perception, manipulation, grasping, robot-learning, cognitive-robotics
物體或環境為某個特定代理人提供的一種可能動作,例如可以被抓握的把手,或可以承托所放置物體的表面。
定義
可供性(Affordances)是環境為某個特定代理人所提供的行動可能性。這個術語由心理學家 James J. Gibson 提出,他主張動物在某種程度上是依據自己能拿世界來做什麼來感知世界:椅子提供了坐的可能,把手提供了抓握的可能,平坦的表面提供了放置的可能。可供性是關係性的;它同時取決於物體,以及代理人的身體與能力。
在機器人領域,可供性推理指的是預測哪些動作可行、以及在哪裡可行。可供性偵測以抓取、切割、倒出、推動或容納等動作,為影像或點雲的各個部分加上標記。可供性地圖為每個像素或位置給出一個分數,例如在該點抓取成功的可能性有多高。這些表示把感知直接連結到動作,而不是停留在物體名稱。
這種關係性對機器人很重要。杯子的把手對能穿過它的手而言提供了抓握的可能,但對大型平行夾爪而言則否;台階對腿足機器人而言提供了攀爬的可能,但對輪式機器人而言則否。因此,好的可供性模型會考量機器人的形態,而不只是物體的類別。
有了大型語言模型與視覺模型,可供性也能作為一種接地(grounding)訊號。語言模型可以為任務提出步驟,但它不知道在目前的場景中,機器人實際上能執行其中哪些步驟。SayCan 等系統把語言模型的建議,與學習而得、估計每項技能能否從目前狀態成功執行的結果結合起來,這正是 Gibson 意義上的可供性。
為何重要
機器人不只需要知道物體是什麼,還需要知道能拿它們做什麼。可供性把感知與動作連結起來,這就是它們貫穿抓取、工具使用與語言引導操作的原因。
主要應用
- 從影像或點雲預測抓取與放置
- 工具使用與零件層級的操作,例如把手、蓋子與壺嘴
- 把語言指令落實為機器人實際能執行的動作
- 在能或不能支撐機器人的地形上導航與移動
實際應用
打造家用操作系統的團隊,可能會訓練一個網路,針對 RGB-D 影像中的每個像素,預測機器人的夾爪可以在哪裡抓取、物體可以放在哪裡。任務規劃器接著查詢這些地圖:要打開抽屜,就尋找可抓取的把手區域;要放下杯子,就尋找可放置的表面。訓練資料常來自機器人自己的抓取嘗試,並依嘗試是否成功加上標記,讓預測反映的正是那一款夾爪。
常見誤解
- 可供性只是物體本身的性質 — 它是物體與代理人的身體及能力之間的一種關係
- 可供性偵測與物體辨識是同一回事 — 辨識是說出物體的名稱,而可供性偵測則預測它支援哪些動作、以及在哪裡
- 為一個機器人學到的可供性能直接轉移到另一個機器人 — 不同的夾爪或身體會改變哪些動作可行
誰需要了解
- 操作與抓取研究人員
- 建構以動作為導向之視覺模型的感知工程師
- 把語言模型與機器人技能連結起來的研究人員
相關技術
- 抓取規劃(Grasp Planning)
- 語意分割(Semantic Segmentation)
- 視覺語言模型(Vision-Language Models)
- 任務規劃(Task Planning)
- 點雲處理(Point Cloud Processing)
相關術語
相關專案
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- OpenPI: Physical Intelligence VLA foundation models for general robot control
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills