You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration

著者: Bowen Wen, Wenzhao Lian, Kostas Bekris, Stefan Schaal · RSS 2022

ライセンス

• オープンアクセス
• 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

シミュレーションのみで学習した正準形状空間が 1 本の実演動画を新しい物体へ写像する。追跡を用いた閉ループのクローニングは、バッテリーを立てるタスクで 100%、0.5 mm の歯車挿入で 82.9% に達する。

重要な理由

新しい組み立てスキルを、1 本の動画と学習用インスタンスの CAD モデルだけで、実世界の学習データやキーポイントのアノテーションなしに教えることができ、小売店で購入した新しいインスタンスにも引き継がれる。追跡ありとなしの比較は、厳しい公差の挿入において閉ループの物体姿勢フィードバックがどれほど重要かを示している。

課題

物体インスタンス間でスキルを転移するカテゴリレベルのマニピュレーション手法は、通常、手動で指定したセマンティックキーポイントと高コストな実世界のデータ収集を必要とし、把持した物体をグリッパに固定されたものとして扱い、オープンループで実行する。これは、ばねに逆らってバッテリーを挿入するような、長いホライズンで接触の多いタスクでは破綻する。そこでは中間の行動シーケンスが重要であり、物体が手の中で動くためである。

提案手法

合成の Blender データのみで学習した NUNOCS Net（PointNet に似たネットワーク）が、部分的な点群を 3D の非一様スケールを持つカテゴリレベルの正準空間に写像し、実演された物体と新しい物体の間の密な対応を与える。1 本の RGBD 実演動画を、モデルフリーの BundleTrack 6 DoF トラッカで受け側部品に対する物体の姿勢軌道として解析し、新しい物体へ再投影したうえで、受け側部品から 5 cm のキー姿勢への RRT* による衝突のない移動と、それに続くカテゴリレベルの行動クローニング（CatBC）として実行する。CatBC は、ヤコビアンに基づく関節の更新と 10 Hz のトラッカのフィードバックで目標軌道に追従し、局所的な注意機構が選んだ座標系に固定される。

主な知見

• 実演を受け側部品に対する物体の姿勢軌道として表すことで、スキルを実演者（人間の手または遠隔操作ロボット）やシーンのレイアウトから切り離せる。
• 手の中の物体の閉ループ追跡は接触の多いタスクで最も重要である。追跡を有効にすると、成功率はバッテリー組み立てで 37.78% から 82.22% に、最も緩い公差での歯車挿入で 42.9% から 100% に上昇した。
• シミュレーションで学習した正準空間による密な 3D 対応は、実データで学習した 2D の密な記述子（DON）やセマンティックキーポイント（KPAM、KPAM 2.0）より精密であった。追跡なしでもすべてのベースラインを上回った。
• 実行を衝突のない搬送と最後の 1 インチのクローニングに分けることで、ロボットは実演に現れなかった障害物に対処し、動画のうち成否を決める部分だけを再現できる。
• 実演し直すことで異なる戦略を教えられる。アンカーとピボット（anchor-and-pivot）の実演は、単純な真上からの挿入より高い歯車挿入の成功率をもたらした。

主な結果

• バッテリーを立てるタスク（テスト用バッテリー 9 本、各 5 試行）：提案手法全体で 100%、追跡なしで 80.0%、ベースラインは最大 60.0%（実演に基づくクローニングを用いた KPAM 2.0）。
• ばねに逆らうバッテリー組み立て：提案手法全体で 82.22%、追跡なしで 37.78%、ベースラインは最大 24.44%、クローニングなしの KPAM、KPAM 2.0、DON は 0%。
• 歯車挿入（テスト用歯車 7 個）：公差 5 mm（1 個の歯車は 3 mm）で 100%、0.5 mm で 82.9%、0.1 mm で 28.6%。最良のベースラインは 5 mm で 31.4% に達し、6 つのベースラインはすべて 0.5 mm で 0%、追跡なしの変種は 0.5 mm で 5.7%。
• 提案手法と 7 つのベースラインにわたって 1,560 回の実世界試行が行われた。トラッカはカメラのレートである 10 Hz で動作する。
• NUNOCS Net はカテゴリあたり 100,000 個の合成データ点を用いたのに対し、KPAM と KPAM 2.0 のベースラインはカテゴリあたり 90,000 から 98,340 個のキーポイントアノテーション付き実世界データ点で学習された。

制限事項

• 視覚が唯一のセンシングモダリティである。著者らは、力覚や触覚のセンシングが高精度タスクの精度を向上させると見込んでいる。
• 扱えるのは剛体のみであり、ケーブルのような関節物体や変形物体には別のカテゴリレベル表現が必要である。
• 報告されている失敗モード：バッテリー組み立てでは、ばねの力でバッテリーがグリッパから押し出されることがあり、アンカーとピボットによる歯車挿入では、衝突のない逆運動学の解が存在しなくなるまで歯車が手の中で回転することがある。
• 歯車と軸の公差が 0.1 mm では、成功率は 28.6% に低下する。
• 本手法は、タスクを妨げない把持を仮定しており（把持計画は範囲外）、受け側部品は幾何プリミティブで構築され、RANSAC で位置が特定される。

分野への影響

RSS 2022 Best Paper Award のファイナリストで、被引用数は 145。論文は自らのコードやデータの公開について述べていない。

概要

物体インスタンス間で汎化するカテゴリレベルのマニピュレーションでは、近年有望な結果が得られている。しかしそれには、多くの場合、高コストな実世界のデータ収集と、物体カテゴリとタスクごとのセマンティックキーポイントの手動指定が必要である。さらに、粗いキーポイント予測と中間の行動シーケンスの無視が、ピックアンドプレースを超える複雑なマニピュレーションタスクへの採用を妨げている。本研究は、物体中心のカテゴリレベル表現とモデルフリーの 6 DoF 動き追跡を活用する、新しいカテゴリレベルのマニピュレーションフレームワークを提案する。正準物体表現はシミュレーションのみで学習され、単一の実演動画からカテゴリレベルのタスク軌道を解析するために用いられる。実演は正準表現を介して、新しい物体に合わせた目標軌道へ再投影される。実行時には、マニピュレーションのホライズンを、長距離の衝突のない動作と、最後の 1 インチ（last-inch）のマニピュレーションに分解する。後者については、カテゴリレベルの行動クローニング（CatBC）手法が動き追跡を活用して閉ループ制御を行う。CatBC は、実演から投影され、動的に選択されるカテゴリレベルの座標系に固定された目標軌道に追従する。この座標系は、局所的な注意機構によってマニピュレーションのホライズンに沿って自動的に選択される。このフレームワークにより、複雑な手動プログラミングなしに、単一の実演を与えるだけで異なるマニピュレーション戦略を教えることができる。大規模な実験により、複雑で長いホライズンの方策の学習を伴う、高精度組み立てにおけるさまざまな難しい産業タスクでの有効性を示す。このプロセスは、ダイナミクスによる不確かさに対するロバスト性と、物体インスタンスやシーン構成にわたる汎化を示す。

リンク

• arXiv 2201.12716: https://arxiv.org/abs/2201.12716
• DOI 10.48550/arXiv.2201.12716: https://doi.org/10.48550/arXiv.2201.12716
• PDF: https://arxiv.org/pdf/2201.12716v1