Global Planning for Contact-Rich Manipulation via Local Smoothing of Quasi-dynamic Contact Models
著者: Tao Pang, H. J. Terry Suh, Lujie Yang, Russ Tedrake · T-RO 2023
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
接触ダイナミクスを、RL のようにサンプリングで、あるいは対数バリアで解析的に平滑化すると有用な勾配が得られる。凸な準動的モデルと組み合わせれば、RRT が器用な操作タスクを約 1 分で計画する。
重要な理由
本手法は、接触の多いタスクに対して強化学習の方策を学習する代わりとなる、オンラインのモデルベースの選択肢を与える。手内回転、ペンの配置、壁を使った皿の持ち上げ、ドア開けの計画が、CPU 上で 1 分程度で生成される。著者らはこれを数時間から数日のオフライン計算に依存する RL のツールと対比し、自らのプランナは環境とタスクに関して汎用性があると述べている。
課題
接触を介したモデルベースの計画には 3 つの障害がある。接触モードの数が爆発的に増えること（3D の手内操作では数兆通りになりうる）、接触ダイナミクスが剛で非平滑なため勾配が爆発したり跳んだりすること、そして計画問題が非凸であることである。強化学習は接触モードをサンプリングし平均することで接触の多いマニピュレーションを扱うが、数時間から数日単位のオフライン計算に依存する。接触を扱う既存のサンプリングベースのプランナは、接触モードを明示的に列挙またはサンプリングするため、接触の数に対するスケーラビリティが低い。
提案手法
著者らはまず、ランダム化平滑化（RL のようにサンプリングして平均する）と解析的平滑化が、同じ滑らかな代理モデルの局所線形モデルを計算しており、単純なシステムでは等価であることを示す。次に、凸で準動的かつ微分可能な接触モデル CQDC を構築する。これは Anitescu の摩擦緩和を用いた 2 次錐計画問題として定式化され、勾配は KKT 条件から得られ、対数バリア緩和によって解析的に平滑化される。最後に、平滑化した線形化から構成した局所的なマハラノビス距離の計量と拡張ステップを用いて RRT を実行し、ロボットを接触状態に置き直す接触サンプリングのステップを加え、得られた経路を反復 MPC とショートカットで改良する。
主な知見
- ランダム化平滑化（RL が用いる方法）と解析的平滑化は、同じ平滑化されたダイナミクスの局所線形モデルを計算する 2 つの方法である。単純なシステムでは等価であり、複雑な例でも同程度の性能を示した。
- 対数バリア緩和による解析的平滑化は、線形化 1 回あたり 1 回の求解で済むため、100 サンプルを平均するランダム化平滑化よりも高速に動作した。
- 準動的モデルは速度と過渡的なダイナミクスを除くことで状態を半分にし、はるかに大きなタイムステップを可能にする。そのため各線形化から、プランナは長期的な挙動についてより多くの情報を得られる。
- 平滑化した線形化から構成した局所的なマハラノビス距離の計量により、RRT が接触による到達可能性を考慮できる。手作業で調整した大域的に一様な重み付きユークリッド計量では、性能が大幅に悪かった。
- 接触サンプリングは、ロボットの位置を変え直す必要のあるタスク（平面押し、平面ハンド、Allegro の手内回転）には不可欠であったが、皿の持ち上げやペンの配置には不要であった。
主な結果
- 反復 MPC、10 反復・5 試行での最小コスト：Allegro の手内回転は解析的平滑化で 5.78、厳密な（平滑化しない）勾配では 44.68。平面押しは 11.74 に対し 31.64。
- 接触モードの変化が少ない平面ハンドのタスクでは、厳密な勾配も良好であった（コスト 18.49、解析的平滑化は 26.55、1 次のランダム化平滑化は 17.87）。
- 32 スレッドで 100 サンプルを用いた場合、反復 MPC においてランダム化平滑化は解析的平滑化より 2 から 3 倍遅かった（Allegro の回転：40.07 s に対し 19.59 s）。
- 解析的平滑化で 1000 反復の RRT にかかった時間は、3.25 s（平面押し）、31.01 s（Allegro の回転）、24.84 s（ペンの配置）、12.42 s（ドア開け）、117.16 s（皿の持ち上げ）。1 次のランダム化平滑化では 7.50 s から 161.64 s であった。
- すべての RRT タスクで、計量と拡張に厳密な線形化を用いると、どの平滑化方式よりもゴールまでの距離と空間の網羅性が大幅に悪かった。
- すべての実験は、AMD Threadripper 2950 CPU（16 コア、32 スレッド）と 32 GB の RAM を備えたデスクトップ 1 台で行われた。
制限事項
- 接触サンプリングはロボットをコンフィギュレーション間でテレポートさせるため物理的ではない。指を動かしても物体が静的平衡にとどまる場合（たとえば上向きの手のひらに載ったボール）にしか機能せず、下向きのハンドには使えない。
- 大きな拡張ステップでは、Anitescu によるクーロン摩擦の凸緩和に起因する非物理的なアーティファクトが生じるため、物理的に現実的な軌道を得るには反復 MPC とショートカットによる改良が必要である。
- 準動的の仮定は、動的な挙動の強い場合には成り立たない。
- 木の成長は依然として行き詰まることがあり、1 つの親から多数の失敗した子ノードが伸びる「ほうき」ができる。
- このバージョンの結果はすべてシミュレーション（Drake で実装）によるもので、リアルタイムの計画は今後の課題とされている。
分野への影響
本論文は T-RO 2024 King-Sun Fu Memorial Best Paper Award（佳作）を受賞し、被引用数は 210 である。生成された計画の動画を公開しているが、このバージョンにはコードへのリンクはない。
概要
接触の多いマニピュレーションにおける強化学習（RL）の経験的な成功については、モデルベースの観点から理解すべきことが多く残されている。この観点では、主な困難は通常、(i) 接触モードの爆発的な増加、(ii) 剛で非平滑な接触ダイナミクスとその結果生じる勾配の爆発/不連続、(iii) 計画問題の非凸性に起因するとされる。RL の確率的な性質は、接触モードを効果的にサンプリングし平均することで (i) と (ii) に対処している。一方、モデルベースの手法は、接触ダイナミクスを解析的に平滑化することで同じ課題に取り組んできた。我々の第 1 の貢献は、単純なシステムについて両手法の理論的な等価性を確立し、いくつかの複雑な例について定性的かつ経験的な等価性を示すことである。(ii) をさらに緩和するため、第 2 の貢献として、接触ダイナミクスの凸で微分可能な準動的定式化を示す。これは両方の平滑化方式に適しており、接触の多い計画に非常に有効であることが実験で確かめられた。最後の貢献は (iii) を解決するもので、接触モードを平滑化によって抽象化すれば、古典的なサンプリングベースの動作計画アルゴリズムが大域的な計画に有効であることを示す。本手法を難しい接触の多いマニピュレーションタスク群に適用し、効率的なモデルベースの動作計画が、劇的に少ない計算量で RL に匹敵する結果を達成できることを示す。動画：https://youtu.be/12Ew4xC-VwA
リンク
- arXiv 2206.10787: https://arxiv.org/abs/2206.10787
- DOI 10.1109/TRO.2023.3300230: https://doi.org/10.1109/TRO.2023.3300230
- PDF: https://arxiv.org/pdf/2206.10787v1