Interactive Perception
- カテゴリ: Planning & manipulation › Manipulation
- タグ: manipulation, perception, active-sensing, partial-observability, exploration
受動的な観察では得られない情報を明らかにするために、ロボットが物体を押す、引く、動かすなどして意図的に環境にはたらきかける知覚。
定義
インタラクティブ知覚（Interactive perception）は、物理的なインタラクションをセンシングの一部として扱う。ロボットは静止した視点からすべてを推論しようとするのではなく、シーンを変える動作をとってその結果を観察する。積み重なった物を押して接触している物体を分ける、引き出しを引いてどう動くかを調べる、箱を持ち上げて重さを推定する、表面を叩いて音から材質を知る、といったことである。既知の動作によって引き起こされる変化は、物体の境界、質量、摩擦、関節構造など、1 枚の画像では隠れている性質についての情報を含んでいる。
この考え方は、ロボットがセンサをどこに向けるか、どこへ動かすかを選ぶアクティブ知覚を基礎としているが、世界そのものを変えるという点でさらに踏み込んでいる。Jeannette Bohg らによる 2017 年のサーベイは、これをロボットの動作とそれが生み出す感覚信号の間の規則性を利用することとして位置づけた。形式的には、ロボットは部分観測の問題に直面している。関心のある状態は潜在的であり、動作はタスクを進めるためだけでなく、その状態についての不確実性を減らすためにも選ばれるべきである。これにより、インタラクティブ知覚は POMDP、ベイズ状態推定、情報収集型プランナーと結びつく。
用途はセグメンテーションや関節構造の推定から、タスクが成功したかどうかの判断にまで及ぶ。たとえば答えが目に見えないとき、ロボットはドアを引っ張って掛け金がかかっているか確かめたり、容器を振って空かどうか判断したりできる。代償は時間とリスクである。探索的な動作はどれも手間がかかり、シーンを乱したり損ねたりしうるので、システムは情報がインタラクションに見合うのはいつかを判断しなければならない。
重要な理由
2 つの物体がくっついているか、蓋がどう開くか、物がどれくらい重いかといった、マニピュレーションにとって重要な性質の多くは、画像からは読み取れない。インタラクティブ知覚はロボットにそれを調べる体系的な方法を与え、雑然とした環境やなじみのない環境でのマニピュレーションをより確実にする。
主な用途
- ドア、引き出し、蓋の関節構造の推定
- 物体を押し離すことによる雑然としたシーンのセグメンテーション
- 質量、摩擦その他の物理的性質の推定
- 結果が目に見えないときのタスク成功の確認
- 物体形状の触覚的探索
実際の使われ方
ロボットが、キッチンのなじみのない戸棚を開けるよう頼まれる。取っ手ごとに、ロボットはそれをつかんで探索的に小さく引き、その間グリッパーの動きと手首の力を記録する。取っ手が直線に沿って動けば直動関節を当てはめ、円弧に沿って動けば回転関節を当てはめてヒンジ軸を推定する。推定したモデルはその後、コンプライアンス制御のもとで完全な開扉動作を導き、動作が進むにつれて推定が修正される。安全な力の制限内で取っ手が動かなければ、ロボットはより強く引くのではなく、その戸棚を施錠されているか引っかかっていると記録する。
よくある誤解
- インタラクティブ知覚はアクティブ知覚と同じである — アクティブ知覚はセンサを動かすが、インタラクティブ知覚は物理的な接触によって環境を変える
- 探索的な動作は時間の無駄である — 短いインタラクションで、さもなければ把持の失敗や成功の誤判定を招く不確実性を取り除ける
- 触覚センサが必要である — 視覚、力・トルクセンシング、関節エンコーダ、音のいずれでも動作の効果を観測できる
知っておくべき人
- マニピュレーションの研究者
- 家庭用ロボットやサービスロボットを構築するエンジニア
- 関節物体や変形物体に取り組む知覚の研究者
- 能動学習と情報収集の研究者
関連技術
- アクティブ知覚（Active Perception）
- 関節構造の推定（Articulation Estimation）
- ベイズフィルタリング（Bayesian Filtering）
- 力・トルクセンシング（Force-Torque Sensing）
- 触覚センシング（Tactile Sensing）
関連用語
- Articulated object
- Robotic information gathering
- Partially Observable Markov Decision Process (POMDP)
- Force/Torque Sensor
- Tactile Sensor
- Affordance
関連プロジェクト
- LeRobot: HuggingFace ML library for real-world robotics in PyTorch
- Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
- PCL: Industry-standard C++ library for point cloud processing in robotics perception
- Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
- NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
- OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation