Perceptive pedipulation with local obstacle avoidance
著者: Jonas Stolle, Philip Arm, Mayank Mittal, Marco Hutter · Humanoids 2024
ライセンス
- オープンアクセス
- 論文: CC BY 4.0
以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。
要約
ANYmal のためのエンドツーエンドの RL ポリシー。2.5D の高さスキャンと、意図的な足の接触を許可するスイッチを用いて、全身で障害物を避けながら足の位置指令に追従する。
重要な理由
制御インターフェースは単一の足の位置指令のままなので、人のオペレーターや上位のプランナーは、全身の衝突のない動きを計画することなく、障害物の近くでこれを使える。専用のアームなしで四足ロボットにマニピュレーション技能を与えるもので、著者はアームが質量と複雑さを増し、可搬重量を減らすと指摘している。
課題
以前の足部マニピュレーションのポリシーは固有受容感覚だけを使って足の位置指令に追従するため、障害物を避けられず、行く手にあるものに何でもぶつかる。外界を知覚しないポリシーの上に障害物を考慮したプランナーを置いても、体の残りの部分は衝突しうるままであり、それを防ぐのに必要な大きな安全マージンは狭い空間での作業を不可能にする。
提案手法
NVIDIA Isaac Lab で学習した単一の RL ポリシーが、固有受容感覚、解像度 0.1 m の 2.4 m × 1.6 m の高さスキャン、足の位置指令を入力とし、関節位置のオフセットを出力する。学習は 3 段階で行う。まず指令空間のカリキュラムを用いた障害物のない足部マニピュレーション、次に 5 つのシナリオで動かせる直方体の障害物を加え、接触イベントと接触力の両方にペナルティを課し、最後に sim-to-real 転移のために標高マップのノイズを加える。ブール値の接触スイッチが右前足の接触にペナルティを課すかどうかを決めるため、同じポリシーで障害物を避けることも押すこともできる。
主な知見
- 接触イベントと接触力の大きさの両方にペナルティを課すことで、最小限の力で障害物を押すことと、短く強い押しで障害物を突き飛ばすことという 2 つの抜け道を封じる。
- 直方体を置いた 5 つの静的な学習シナリオだけで、ポリシーは未知の形状や動く障害物を避けられた。著者は、ポリシーが物体の形状を認識しているのではなく、高さスキャンの占有された各セルを避けるべき空間の柱として扱っていると推測している。
- 静的な地形ではなく動かせる障害物を使うと学習時間はかかるが、接触スイッチが許可するときに物体を押すことをポリシーが学べる。
- まず障害物のない足部マニピュレーションを学習し、その後に障害物を加えると学習が速くなる。
- ポリシーは軌道ではなく点に追従するため、背中側に足を伸ばすと、経路の残りをたどるのに不向きな姿勢のままになることがある。
主な結果
- 1024 個のサンプリングした指令での自由空間の追従：接触スイッチが 0（回避）のとき平均誤差 0.057 m、1（接触許可）のとき 0.047 m。
- シミュレーションで角の向こうへ足を伸ばす課題：以前の知覚なしポリシーは角にぶつかって転倒したが、知覚を持つポリシーはより長い経路をとって衝突を回避した。
- 単一障害物のシミュレーション試験：4 つの試験すべてで自己衝突も環境との衝突もなかった。障害物を低くすると、足は迂回せずにその上を越えた。
- 4 つの障害物：1.3 m の隙間では、ポリシーはベースの旋回をやめて背中側に足を伸ばし、ベースの後部で力の小さな衝突がいくつか生じた。時計回りの指令経路では追従が劣化した。
- ANYmal の実機では、指令が段ボール箱を通り抜けるときに足は箱を迂回し（5 回繰り返した）、学習で見ていない丸い金属製のごみ箱も迂回した。
- 実機での接触スイッチ：スイッチを 1 にすると、ロボットは指令位置に届くために障害物を押し倒し、最終的な追従誤差は 0.073 m だった。
制限事項
- 著者によれば、制御器はベースの真下にある障害物や、学習で見ていない狭い空間など、いくつかのコーナーケースをうまく扱えない。
- 2.5D の高さスキャンは、2.5D マップに収まり、グリッドの刻みより大きい構造しか表現できない。著者は 3D 表現が必要だとしている。
- 側方から来る動的障害物はロボットの右側でしか回避されず、反応速度は標高マップの更新レートによって制限される。
- シミュレーションでは、知覚の視野が限られていることや、ベースを回転させる空間がないことが原因で、ポリシーが動けなくなることがあった。
- 足部マニピュレーションを行う足での接触を避けると、自由空間での追従精度がわずかに下がる（0.057 m 対 0.047 m）。
分野への影響
Humanoids 2024 Best Interactive Presentation Award のファイナリストで、被引用数は 12。論文には、コード、学習済みポリシー、データへのリンクはない。
概要
足部マニピュレーション（pedipulation）は、脚型ロボットの足をモバイルマニピュレーションに活用し、専用のロボットアームを不要にする。先行研究は外界を知覚しない、タスク固有の足部マニピュレーション技能を示してきたが、環境中の静的・動的な障害物を考慮していない。この限界に対処するため、我々は強化学習に基づく手法を導入し、足の位置指令に追従しながら同時に障害物を回避する、障害物を考慮した全身ポリシーを学習する。シミュレーションでわずか 5 つの異なる静的シナリオで学習したにもかかわらず、このポリシーが障害物の数や種類の異なる未知の環境に汎化することを示す。一連のシミュレーション実験で本手法の性能を分析し、学習したポリシーを四足ロボット ANYmal に実装することに成功し、静的・動的な障害物を回避しながら足の指令に追従できることを実証する。
リンク
- arXiv 2409.07195: https://arxiv.org/abs/2409.07195
- DOI 10.1109/Humanoids58906.2024.10769896: https://doi.org/10.1109/Humanoids58906.2024.10769896
- PDF: https://arxiv.org/pdf/2409.07195v1