Semantic keypoint

• 別名: category-level keypoint, object keypoint
• カテゴリ: Sensing › Perception outputs
• タグ: manipulation, perception, object-representation, category-level, keypoints

マグカップの取っ手や底の中心のように、物体カテゴリー全体で一貫して定義される物体上の点。ロボットはこれを 3D で検出して、マニピュレーションを指定し計画する。

定義

セマンティックキーポイント（semantic keypoint）は、あるカテゴリーのどのインスタンスでも同じ意味をもつ物体上の点である。マグカップの底の中心、ドライバーの先端、ペグの端、靴のつま先などがその例である。一般的な画像特徴は検出や追跡のしやすさを理由に選ばれるのに対し、セマンティックキーポイントはタスクにとっての意味を理由に選ばれる。通常はラベル付き画像で学習したニューラルネットワークである知覚モデルが各キーポイントの画像上の位置を予測し、深度データや複数の視点を使ってそれらを 3D の位置に変換する。

マニピュレーションでは、セマンティックキーポイントは物体の完全な 6-DOF 姿勢を推定する方法に代わるものである。姿勢は固定されたテンプレートモデルに対してしか明確に定義されず、カテゴリー内のインスタンスの大きさや形状が異なる場合には成り立たなくなる。2 つのマグカップは高さ、幅、取っ手の位置が異なりうるため、一方を他方に重ね合わせる単一の剛体変換は存在しない。それでも、少数のキーポイントであれば両方で意味をもつ。kPAM（Manuelli、Gao、Florence、Tedrake、2019）はこれを利用して、たとえばマグカップの底の中心が棚の上に載り、その真上に上部の中心が来るといったように、タスクをキーポイントに対するコストと制約として指定し、それらを満たす物体の剛体運動を求める。そのうえで、把持によって物体をその運動に沿って運ぶ。kPAM 2.0 はこのアプローチを閉ループのフィードバック制御に拡張し、ペグインホール挿入のような接触の多いタスクを可能にしている。

この表現はコンパクトで解釈しやすく、キーポイントのコストを衝突制約や運動学的制約と並べて最適化問題に直接書き込める。その限界も同じところから生じる。あるカテゴリーがタスクごとにどのキーポイントを必要とするかは誰かが選ばなければならず、少数の点は形状全体についてほとんど何も語らないため、衝突チェックには通常、別に点群やメッシュが必要になる。遮蔽、複数の点が等価に見える対称性、学習データとは異なる物体はいずれも検出を劣化させる。関連する表現には、ピクセルごとに学習した特徴を割り当てる密な視覚記述子や、ピクセルごとに正準形状の座標系を予測する正規化物体座標マップがある。

重要な理由

家庭、研究室、倉庫のロボットは、用途は同じでも形状がまったく同じではない多くの物体インスタンスに出会う。セマンティックキーポイントを使えば、物体ごとの CAD モデルなしに、カテゴリー全体に対して 1 つのタスク仕様を書き、なおかつ物体を正確に置くことができる。

主な用途

• 形状にばらつきのある物体のカテゴリーレベルのピックアンドプレース
• 置く、掛ける、積み重ねるためのタスク指定
• ペグインホール挿入のような接触の多い組立
• タスクに関係する点が工具とワークの接し方を決める工具使用
• 少数の意味のある点による、関節物体や変形物体の追跡

実際の使われ方

あるチームが、数十種類のマグカップのどれでもロボットにラックへ掛けさせたいと考えている。彼らは数百枚の深度画像に、底の中心、上部の中心、取っ手の内側の点という 3 つのキーポイントを注釈付けする。これらの画像で学習したネットワークが新しいマグカップ上のキーポイントを予測し、その 3D 位置を深度画像から読み取る。タスクは制約として書かれる。取っ手の点が最終的にラックのフックに掛かり、底から上部への軸がほぼ水平でなければならない。最適化器がそれらを満たすマグカップの剛体変換を求め、ロボットは縁を把持し、計画されたマグカップの動きをエンドエフェクタの軌道に変換する。失敗の大半は取っ手がカメラから隠れているときに起こるため、チームはロボットにカメラを動かすかマグカップを回転させ、再検出してから計画させる。

よくある誤解

• セマンティックキーポイントは SIFT や ORB のコーナーのような画像特徴点と同じである — それらは識別しやすく追跡しやすいことを理由に選ばれるが、セマンティックキーポイントはタスク上の意味を理由に選ばれ、インスタンス間で対応がとれる
• キーポイントは物体の幾何形状をすべて置き換える — キーポイントが記述するのはタスクに関係する点だけなので、衝突回避や把持の選択には依然として点群やメッシュが必要である
• キーポイントを使えば問題から姿勢がなくなる — テンプレートに基づく 6-DOF の物体姿勢は避けられるが、ロボットは依然として物体の剛体変換とグリッパの完全な姿勢を計算する

知っておくべき人

• さまざまな日用品を扱うマニピュレーションのエンジニア
• キーポイント検出器を学習させる知覚エンジニア
• 物体表現を設計するロボット学習の研究者
• 柔軟なピックアンドプレース・組立セルを構築するインテグレーター

関連技術

• kPAM
• キーポイントヒートマップ回帰（Keypoint Heatmap Regression）
• 密な物体記述子（Dense Object Descriptors）
• 正規化物体座標空間（Normalized Object Coordinate Space、NOCS）
• Perspective-n-Point

関連用語

• Category-Level Manipulation
• Affordance
• Point Cloud
• Perspective-n-Point
• Task-Oriented Grasping
• Peg-in-hole insertion

関連プロジェクト

• LeRobot: HuggingFace ML library for real-world robotics in PyTorch
• Open3D: Modern library for 3D point cloud processing, mesh operations, and 3D machine learning
• PCL: Industry-standard C++ library for point cloud processing in robotics perception
• Isaac Lab: NVIDIA robot learning framework: one task API across Newton, PhysX and Isaac Sim
• NVIDIA Isaac GR00T: NVIDIA open foundation model for humanoid robot reasoning and skills
• OpenVLA: 7B-parameter Vision-Language-Action model for robotic manipulation