Category-Level Manipulation

• カテゴリ: Planning & manipulation › Manipulation
• タグ: manipulation, generalization, pose-estimation, 3d-perception, imitation-learning

どのマグカップでも、どの引き出しでも、といったように、物体カテゴリのすべてのインスタンスに汎化するマニピュレーション。見たことがなく CAD モデルもないインスタンスも含む。

定義

カテゴリレベルのマニピュレーション（Category-level manipulation）は、特定の一つの物体ではなく、ある物体カテゴリのどのメンバーにも通用するスキルをロボットに与えることを目指す。マグカップを取っ手で掛けることを学んだロボットは、形、大きさ、色が異なり一度も見たことのないマグカップでも、その 3D モデルを与えられることなく掛けられるべきである。これは、すべての物体に既知の CAD モデルがあるインスタンスレベルのマニピュレーションと、任意の物体に対する完全に汎用的なマニピュレーションとの中間に位置する。

中心的な難しさは、カテゴリ内のインスタンスの形状が異なるため、固定された物体姿勢がどのインスタンスでも同じ意味をもつわけではないことにある。そこでカテゴリレベルの手法は、カテゴリ全体で共有される、タスクに関連した表現を定義する。例としては、6D 姿勢とサイズの推定のための NOCS のような、正規化された正準座標系でのカテゴリレベル姿勢、kPAM のような、マグカップの縁の中心や取っ手といった意味的キーポイントの集合、そして Neural Descriptor Fields のような、異なるインスタンス上の対応点を似た特徴量へ写す密な学習済み記述子がある。そのうえでタスクを、例えばキーポイント間の目標関係や正準座標系に対するグリッパーの姿勢として、その表現を用いて記述し、新しいインスタンス上で表現を推定することでタスクをそのインスタンスへ転移する。

魅力の一つはデータ効率である。原理的には、一つのインスタンスでの一回のデモンストレーションを、共有表現を通じて他のすべてのインスタンスへ転移できる。代償として、カテゴリをあらかじめ定義しておく必要があり、訓練にはカテゴリごとに多数のインスタンス（通常は合成形状データセットから）が必要で、形状や機能が訓練セットから外れた珍しいメンバーでは性能が低下する。

重要な理由

実際の家庭、倉庫、研究室には同じ種類の物体の多くのバリエーションがあり、そのそれぞれに CAD モデルや新しいデモンストレーションを用意するのは現実的でない。カテゴリレベルの手法は、一度教えたスキルを物体のファミリー全体に適用できるようにするものであり、固定された産業環境の外で働くロボットの前提条件となる。

主な用途

• マグカップ、ボトル、ボウル、食器を扱う家事タスク
• デザインの異なる引き出し、ドア、その他の関節物体を開ける作業
• 倉庫における製品バリエーションのキッティングとピックアンドプレース
• 一回のデモンストレーションの新しい物体インスタンスへの転移
• 道具の機能部位によるタスク指向把持

実際の使われ方

あるチームは、ロボットにマグカップをラックへ正立させて置かせたいと考えている。チームは、ランダムなテクスチャでレンダリングした合成マグカップのモデルでカテゴリレベルの姿勢・キーポイント推定器を訓練し、デモンストレーションを一回記録する。記録するのは、把持時の取っ手キーポイントに対するグリッパーの姿勢と、ラックのペグに対するマグカップの正準座標系の目標姿勢である。運用時には、深度カメラが新しいマグカップをセグメンテーションし、ネットワークがその正準姿勢とキーポイントを予測し、保存しておいた把持と配置がこのインスタンス向けに表し直され、動作プランナがアームの軌道を生成する。珍しい取っ手をもつマグカップでの失敗は記録され、それらは追加の形状として訓練セットに加えられる。

よくある誤解

• カテゴリレベルの手法でも各物体の CAD モデルが必要である — 目的は、カテゴリ全体に対して学習した表現だけを使って未見のインスタンスを扱うことである
• 広い物体のクラスなら何でもカテゴリになる — 手法は通常、マグカップやノートパソコンのように共通の形状と機能に依存しており、道具のように定義のゆるいクラスは苦手である
• 物体の中心と向きがわかればスキルを転移できる — 形状が異なるため、取っ手や縁のようなタスクに関わる部位には、通常それぞれのキーポイントや対応関係が必要になる

知っておくべき人

• 汎化に取り組むマニピュレーションの研究者
• 物体姿勢推定器を構築する知覚エンジニア
• 家庭用・サービスロボットの開発者
• 模倣学習の実務者

関連技術

• カテゴリレベル 6D 姿勢推定（Category-Level 6D Pose Estimation）
• NOCS
• kPAM
• Neural Descriptor Fields
• 意味的キーポイント（Semantic Keypoints）
• ShapeNet

関連用語

• Task-Oriented Grasping
• Affordance
• Articulated object
• Imitation Learning
• Point Cloud
• Equivariance

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• OpenPI: Physical Intelligence VLA foundation models for general robot control
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation
• Mobile ALOHA: Bimanual mobile manipulation with 4 robot arms on a wheeled base for teleoperation

動画

• Lecture 14 | MIT 6.881 (Robotic Manipulation), Fall 2020 | Category-level Manipulation: underactuated