Interactive Perception

• 카테고리: Planning & manipulation › Manipulation
• 태그: manipulation, perception, active-sensing, partial-observability, exploration

수동적 관찰로는 얻을 수 없는 정보를 드러내기 위해 로봇이 물체를 밀거나 당기거나 옮기는 방식으로 환경에 의도적으로 작용하는 인식.

정의

상호작용 인식(interactive perception)은 물리적 상호작용을 센싱의 일부로 다룬다. 로봇은 정적인 한 장면에서 모든 것을 추론하려 하는 대신, 장면을 바꾸는 행동을 하고 그 결과를 관찰한다. 서로 닿아 있는 물체들을 떼어 놓기 위해 더미를 밀고, 서랍이 어떻게 움직이는지 알기 위해 당기고, 무게를 추정하기 위해 상자를 들어 올리고, 무엇으로 만들어졌는지 듣기 위해 표면을 두드린다. 알려진 행동이 일으킨 변화는 물체 경계, 질량, 마찰, 관절 구조처럼 이미지 한 장으로는 감춰진 성질에 대한 정보를 담고 있다.

이 아이디어는 로봇이 센서를 어디로 향하거나 움직일지 고르는 능동 인식(active perception)을 바탕으로 하지만, 세계 자체를 바꾼다는 점에서 한 걸음 더 나아간다. Jeannette Bohg와 동료들의 2017년 서베이는 이를 로봇의 행동과 그 행동이 만들어 내는 감각 신호 사이의 규칙성을 활용하는 것으로 정리했다. 형식적으로 로봇은 부분 관측 문제에 직면한다. 로봇이 관심을 두는 상태는 잠재 상태이며, 행동은 작업을 진척시키는 것뿐 아니라 그 상태에 대한 불확실성을 줄이도록 선택되어야 한다. 이는 상호작용 인식을 POMDP, 베이지안 상태 추정, 정보 수집 계획기와 연결한다.

용도는 분할과 관절 구조 추정에서 작업 성공 여부 판단까지 이른다. 예를 들어 답이 눈에 보이지 않을 때, 로봇은 문을 잡아당겨 걸쇠가 걸렸는지 확인하거나 용기를 흔들어 비었는지 판단할 수 있다. 비용은 시간과 위험이다. 탐색적 행동은 모두 노력이 들고 장면을 흐트러뜨리거나 손상시킬 수 있으므로, 시스템은 그 정보가 상호작용을 할 가치가 있는지 결정해야 한다.

중요한 이유

두 물체가 붙어 있는지, 뚜껑이 어떻게 열리는지, 무언가가 얼마나 무거운지처럼 조작에 중요한 많은 성질은 사진에서 읽어 낼 수 없다. 상호작용 인식은 로봇이 이를 알아내는 체계적인 방법을 제공하며, 복잡하고 낯선 환경에서 조작을 더 안정적으로 만든다.

주요 응용

• 문, 서랍, 뚜껑의 관절 구조 추정
• 물체들을 밀어 떼어 놓아 복잡한 장면 분할
• 질량, 마찰 및 기타 물리적 성질 추정
• 결과가 보이지 않을 때 작업 성공 확인
• 물체 형상의 촉각적 탐색

실제 사례

로봇이 부엌의 낯선 캐비닛들을 열라는 요청을 받는다. 손잡이마다 로봇은 잡고 작은 탐색적 당김을 가하면서 그리퍼의 운동과 손목의 힘을 기록한다. 손잡이가 직선을 따라 움직이면 직동 관절을 맞추고, 호를 따라 움직이면 회전 관절을 맞추고 경첩 축을 추정한다. 그런 다음 추정된 모델이 컴플라이언트 제어 아래에서 완전히 여는 동작을 안내하고, 동작이 이어지는 동안 추정이 다듬어진다. 안전한 힘 한계 안에서 손잡이가 움직이지 않으면 로봇은 더 세게 당기는 대신 캐비닛을 잠겼거나 걸린 것으로 기록한다.

흔한 오해

• 상호작용 인식은 능동 인식과 같다 — 능동 인식은 센서를 움직이고, 상호작용 인식은 물리적 접촉을 통해 환경을 바꾼다
• 탐색적 행동은 시간 낭비이다 — 짧은 상호작용으로 파지 실패나 성공 여부의 오판을 일으켰을 불확실성을 없앨 수 있다
• 촉각 센서가 필요하다 — 비전, 힘-토크 센싱, 관절 인코더, 소리 모두 행동의 효과를 관측할 수 있다

알아야 할 사람

• 조작 연구자
• 가정용 및 서비스 로봇을 만드는 엔지니어
• 관절형 물체와 변형 물체를 연구하는 인식 연구자
• 능동 학습과 정보 수집 연구자

관련 기술

• 능동 인식(Active Perception)
• 관절 구조 추정(Articulation Estimation)
• 베이지안 필터링(Bayesian Filtering)
• 힘-토크 센싱(Force-Torque Sensing)
• 촉각 센싱(Tactile Sensing)

관련 용어

• Articulated object
• Robotic information gathering
• Partially Observable Markov Decision Process (POMDP)
• Force/Torque Sensor
• Tactile Sensor
• Affordance

관련 프로젝트

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation