Open Source Robotics

高品質なオープンソースロボティクスプロジェクト、ツール、ソフトウェアの厳選コレクション。

Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation

著者: Jared Mejia, Victoria Dean, Tess Hellebrekers, Abhinav Gupta · ICRA 2024

ライセンス

  • オープンアクセス
  • 論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

ピエゾ式コンタクトマイクが触覚を音に変えるため、AudioSet の動画で事前学習したエンコーダがマニピュレーションへ転移し、3 つの実タスクで視覚のみのポリシーやゼロから学習した音声のポリシーを上回る。

重要な理由

コンタクトマイクは一般的な触覚センサーに比べて安価で、光学式や磁気式の触覚センサーの 30–400 Hz に対し、32–48 kHz で振動を記録する。信号が音であるため、大規模な触覚データセットを集める代わりに既存のインターネット規模の音声・視覚モデルを再利用でき、これはデモンストレーションが数十回しかない場合に重要となる。

課題

ロボット学習では視覚表現の大規模事前学習は当たり前になっているが、触覚やその他の非視覚モダリティには、インターネット規模のデータがないため、依然としてゼロから学習されている。タスクあたり数十回のデモンストレーションというロボティクスで一般的な低データ領域では、このため触覚センシングが十分に活用されていない。

提案手法

Franka のグリッパーに取り付けた 4 つのピエゾ式コンタクトマイクが、グリッパーでの振動と、スプーンやヘラのような把持した道具を伝わる振動の両方を、接触振動として音で記録する。音声エンコーダは AudioSet で事前学習した自己教師ありの音声・視覚モデルである AVID から、画像エンコーダは R3M（Ego4D で事前学習した ResNet18）から初期化する。どちらも固定せず、6-D のエンドエフェクターの差分行動からなる短いシーケンスを予測する行動クローニングのポリシーの中で、自己注意ブロックによって融合する。

主な知見

  • ロボットの接触音はインターネット上の音声と十分に近いため、ドメインギャップがあっても AudioSet の音声・視覚事前学習が転移する。
  • 重要なのは事前学習データの規模である。ドメイン内の接触音のみで事前学習した BYOL-A は、ランダムに初期化した音声エンコーダと同程度の性能だった（裏返しでは良く、すくい取りとファスナー閉めでは悪い）。
  • 事前学習した音声特徴は視覚的な細部への過学習を減らした。裏返しでは、学習時の設定からテスト時の設定にかけて、視覚のみのポリシーは成功率が約 60% 低下し、音声・視覚ポリシーは約 20% の低下だった。
  • 自己注意による融合は必要だが十分ではない。すくい取りでは、トランスフォーマーを MLP に置き換えると成功率と報酬が 50% 近く低下し、ゼロから学習したベースラインの水準まで落ちた。
  • ポリシー学習中に事前学習済みの AVID 音声エンコーダを固定しても、性能はわずかに下がるだけだった。

主な結果

  • 裏返し（デモンストレーション 40 回）：成功率 50.0%。BYOL-A は 25.0%、ゼロから学習した音声エンコーダは 15.4%、視覚のみは 0.0%。
  • すくい取り（デモンストレーション 60 回）：成功率 78.1%。ゼロから学習は 50.0%、視覚のみは 28.1%、BYOL-A は 25.0%。
  • ファスナー閉め（デモンストレーション 50 回）：成功率 88.9%。ゼロから学習は 72.2%、BYOL-A は 66.7%、視覚のみは 44.4%。
  • 平均すると、次点のベースラインより 0-1 成功率が 23%、報酬が 76% 高い。9 つのタスク設定のうち 8 つで、すべてのベースラインを上回るか同等だった。
  • すくい取りでは、デモンストレーションを 30 回から 60 回、90 回と増やすと成功率は着実に上がり、その上がり方は視覚のみのベースラインとほぼ同じだった。
  • ポリシーのパラメータは約 20M で、RTX 3080 Ti GPU 1 枚で 1–1.5 時間で学習できる。

制限事項

  • 著者は、ピックアンドプレースのように動的でないタスクではコンタクトマイクの有用性が低い可能性があると述べている。
  • ロボット自体が大きな振動を発生させる場合にも、有用性が低い可能性がある。
  • 接触時に知覚できる振動を発しない変形物体には役立たない可能性がある。
  • 評価は 1 台のロボットアームでの 3 タスクのみで、タスクあたりのデモンストレーションは最大 60 回（スケーリングのアブレーションでは 90 回）。

分野への影響

ICRA 2024 IEEE ICRA Best Paper Award in Robot Manipulation のファイナリストで、被引用数は 31。論文は実ロボット実験の動画を載せたプロジェクトページを示しているが、コードへのリンクはない。

概要

大量のデータでの事前学習はロボット学習に有益であるが、現在のパラダイムは視覚表現に対してのみ大規模な事前学習を行い、他のモダリティの表現はゼロから学習している。豊富な視覚データとは対照的に、触覚のような他のモダリティの事前学習にどのような関連するインターネット規模のデータを使えるかは明らかでない。こうした事前学習は、ロボティクスの応用で一般的な低データ領域においてますます重要になる。本論文では、代替の触覚センサーとしてコンタクトマイクを用いることで、このギャップに取り組む。我々の重要な洞察は、コンタクトマイクが本質的に音に基づく情報を捉えるため、大規模な音声・視覚事前学習を活用して、ロボットのマニピュレーション性能を高める表現を得られるという点である。我々の知る限り、本手法はロボットマニピュレーションのために大規模なマルチセンサリー事前学習を活用した最初の手法である。実ロボット実験の動画を含む補足情報は https://sites.google.com/view/hearing-touch を参照のこと。

リンク

  • arXiv 2405.08576: https://arxiv.org/abs/2405.08576
  • DOI 10.1109/ICRA57147.2024.10611305: https://doi.org/10.1109/ICRA57147.2024.10611305
  • PDF: https://arxiv.org/pdf/2405.08576v1
  • プロジェクトページ: https://sites.google.com/view/hearing-touch

このウェブサイトにはJavaScriptが必要です。オープンソースロボティクスプロジェクトを閲覧するにはJavaScriptを有効にしてください。