Task-Oriented Grasping

• 別名: TOG, task-aware grasping
• カテゴリ: Planning & manipulation › Manipulation
• タグ: grasping, manipulation, affordances, tool-use, semantic-grasping

把持の安定性だけでなく、ロボットが次にその物体で何をするかに基づいて把持を選ぶこと。たとえば、切るためにナイフの柄を持つ。

定義

ほとんどの把持計画器が問うのは、この把持で物体を保持できるか、という 1 つの問いだけである。タスク指向把持（Task-oriented grasping）は、この把持でロボットが意図したタスクを実行できるか、という 2 つ目の問いを加える。縁をつまんだマグカップは安定していても注ぐのを妨げるし、軸を握ったドライバーは回せない。そのため、タスク指向の把持選択は、把持の安定性とタスク制約を組み合わせる。つまり、物体のどの部分に触れてよいか、どのアプローチ方向なら機能部位がふさがらないか、そしてタスクの実行中に把持がどのような力とトルクに耐えなければならないかである。

アプローチは時代とともに変わってきた。初期の解析的な研究は、タスクを、それが物体に加えるレンチの集合で記述し、その集合に耐えられる把持を優先した。多指ハンドのための Li と Sastry のタスク指向把持品質指標がその例である。その後の研究は、物体の部位とそのアフォーダンスを符号化し、取っ手、刃、注ぎ口などの領域にラベルを付け、TaskGrasp のようなタスク固有の把持を注釈した物体データセットから、どの部位がどのタスクに適するかを学習した。最近のゼロショット手法は、汎用の把持生成器で安定した把持候補を多数生成し、それを言語で順位付けする。たとえば LERF-TOGO は、言語を埋め込んだ放射場を使ってクエリで指定された物体の部位を見つけ、その部位上の把持を残す。

タスク指向把持はアフォーダンス検出と密接に関係するが、同じものではない。アフォーダンスマップは物体のどこで動作が起こりうるかを示すのに対し、タスク指向把持は、グリッパー、ロボットの到達範囲、その後に続く動作を踏まえて、どの具体的な把持を実行するかを決めることである。タスクに別の人が関わることもある。手渡しでは、ロボットは取っ手が空いて受け取る人のほうを向くように把持することが多い。

重要な理由

物体を動かすだけでなく使うロボットは、間違った持ち方で拾い上げると、持ち直すかあきらめるしかなくなる。タスクを考慮した把持の選択は、たとえば鋭い工具を人に手渡す場面で、安全性にも影響する。

主な用途

• ハンマー、ドライバー、フライ返しなどの道具の使用
• 家庭やキッチンでのマニピュレーション
• 人への物体の安全な手渡し
• 注ぐ動作と容器の操作
• 部品の一端を挿入のために空けておく必要がある組立

実際の使われ方

キッチンアシスタントが、ナイフを人に渡すよう頼まれる。知覚がナイフをセグメンテーションし、把持生成器がナイフに沿って多数の平行ジョー把持を提案する。部位レベルのステップでは、学習済みの部位セグメンテーション器か、視覚言語モデルへの言語クエリを使って、刃と柄を区別する。手渡しでは、ロボットは柄が空いて相手のほうを向く把持を残し、切るよう頼まれた場合は、代わりに柄を持つ把持を残す。残った候補について、到達可能かどうかと、アームが関節の可動限界に当たらずに後続の動作を行えるかどうかを確認する。

よくある誤解

• 安定した把持はよい把持である — 安定性は必要条件だが十分条件ではなく、把持はタスクに使える状態で物体を残さなければならない
• 物体ごとに正しい把持は 1 つしかない — 正しい把持はタスクによって決まり、同じナイフでも切るときと手渡すときでは持ち方が違う
• タスク指向把持には物体ごとにタスク固有の学習データが必要である — 最近のゼロショット手法は言語モデルや視覚言語モデルを使って汎用の把持候補を順位付けする。ただし、細かな部位の区別には専用のデータセットがやはり役立つ

知っておくべき人

• 道具の使用を研究するマニピュレーションの研究者
• 把持計画のエンジニア
• 手渡しを研究するヒューマンロボットインタラクションの研究者
• サービスロボットの開発者

関連技術

• 把持品質指標（Grasp Quality Metrics）
• 部位セグメンテーション（Part Segmentation）
• 視覚言語モデル（Vision-Language Models）
• 言語埋め込み放射場（Language Embedded Radiance Fields、LERF）
• TaskGrasp データセット（TaskGrasp Dataset）
• 把持姿勢検出（Grasp Pose Detection）

関連用語

• Grasp Planning
• Neural Radiance Field
• VLM
• Gripper
• Affordance
• Open-Vocabulary Detection

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Drake: MIT robotics toolbox for model-based dynamics, optimization, and control system design
• OpenArm: 7DOF humanoid arm for physical AI research in contact-rich environments