FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields

著者: Lukas Meyer, Andrei-Timotei Ardelean, Tim Weyrich, Marc Stamminger · IROS 2025

ライセンス

オープンアクセス
論文: CC BY 4.0

以下の内容はすべて、論文のライセンス（CC BY 4.0）に従い論文全文に基づいています。図は著者のクレジットを付けて掲載しています。

要約

果実の NeRF に対照学習で学習したインスタンスフィールドを加え、果物固有の形状テンプレートなしに、3D 点群のクラスタリングによってあらゆる種類の果実を数えられるようにする。

重要な理由

一つのパイプラインで、果物ごとのテンプレートなしに 6 種類の果物を扱い、順序のない写真と、マスク用の既製の基盤モデルを用いる。果樹園の収量推定において、テンプレートベースのクラスタリングが必要としていた、果物ごと・生育段階ごとの調整が不要になる。

課題

果実の計数は収穫の人員計画、包装、貯蔵、加工に役立つが、既存手法のほとんどは一種類の果物向けに作られている。前身の FruitNeRF は RGB と意味マスクをニューラルフィールドへと持ち上げるが、そのカスケード型クラスタリングは果物固有のテンプレートといくつかの敏感なハイパーパラメータに依存しており、それらは果物の種類や生育段階に応じて変える必要がある。

提案手法

FruitNeRF++ は NeRF にニューラルインスタンスフィールドを追加し、Grounded-SAM または Detic による 2D インスタンスマスク上で、InfoNCE 型の対照損失を用いて学習する。その際、各果実の平均特徴を正例、隣接する果実を難しい負例とする。まず密度フィールドと色フィールドを、次に意味フィールドを学習し、その後ほかを凍結してインスタンスフィールドのみを学習する。シーンは 32 次元のインスタンス特徴を持つ果実の点群としてサンプリングされ、k-means で複数の区画に分割され、各区画はコサイン特徴距離とユークリッド距離の重み付き和を用いて HDBSCAN でクラスタリングされる。

主な知見

すべてのピクセルの組を対照させる代わりに、果実ごとに一つのプロトタイプ（平均）特徴を正例として用いると、インスタンスフィールドにとってより良い学習信号が得られた。
一様なピクセルサンプリングは NeRF の色の学習には適しているが、背景ピクセルが大半を占めるため、インスタンスの学習には適さない。隣接する果実をまとめてサンプリングすると、難しい局所的な負例が得られる。
コサイン特徴距離とユークリッド位置距離を組み合わせたクラスタリングは、どちらか一方のみより良かった。合成データでは、接触している果実がまれなため、分離の大部分は位置によるものであった。Section IV-E はユークリッド距離の重みを λe = 5 としているが、Section V は合成実験で λe = 1、FUJI で λe = 5 としている。
合成データでは、対照学習の温度 τ は 0.1 から 0.3 の間で機能し、0.2 で最も良かった。その範囲外ではクラスタリングがインスタンスを分離できなかった。
マスクの品質が計数を制限する。合成データでは Grounded-SAM のマスクは平均 IoU 0.561、Detic は 0.49 であり、果実の前を横切る葉や枝によって一つの果実が二つのインスタンスに分かれることがある。

主な結果

6 種類の合成果実における平均 F1：正解マスクで 0.925、Grounded-SAM のマスクで 0.832、Detic のマスクで 0.776。
正解マスクを用いた場合の果物ごとの F1、FruitNeRF++ 対 FruitNeRF（Table II、FruitNeRF の値はその論文自体から引用）：リンゴ 0.996 対 1、プラム 0.859 対 0.885、レモン 0.978 対 0.978、ナシ 0.996 対 0.971、モモ 0.996 対 0.987、マンゴー 0.713 対 0.873。
マンゴーが最も難しいケースであった（正解マスクで 1150 個中 649 個を計数）。著者らはこれを、果実の数の多さと強い遮蔽によるものとしている。
実際の FUJI リンゴデータセット（画像 582 枚、樹木 12 本）：Grounded-SAM のマスクで F1 0.765、これに対し Gené-Mola et al. による果物固有の手法は 0.881。
100 個の家庭用品からなる Messy Rooms データセットでは、99 個の物体が検出された。
リンゴでは埋め込みサイズ D = 16 で F1 が 1 に達する。プラムとマンゴーにはより大きな埋め込みが必要である。

制限事項

FUJI のような大きなシーンでの学習には Nvidia A5000（24 GB）で約 8 時間かかるため、本手法はリアルタイムではない。その時間の半分以上は、インスタンスフィールドの収束の遅さによるものである。
結果は樹木を十分にカバーできているかに依存する。ノイズの多いデータ、主に不正確なカメラ姿勢があると、ある果実の埋め込みが隣接する果実に混入する。
葉や枝が果実を視覚的に分断すると、インスタンスセグメンテーションは二つのインスタンスを予測しがちで、二つの半分の埋め込みが引き離される。
バナナ、ベリー、デーツのように房になって実る果物については、房の大きさと数を推定するためにさらなる研究が必要である。
実世界での評価は一つのリンゴデータセットのみを対象としており、そのカメラ姿勢には COLMAP に加えて樹木の両側の手作業による位置合わせが必要であった。著者らは Gené-Mola et al. との差をこれらのノイズの多い姿勢によるものとしている。

分野への影響

FruitNeRF++ は IROS 2025 の賞のファイナリストであり、被引用数は 5 である。著者らはコードリポジトリ github.com/meyerls/FruitNeRFpp を示しており、コードは採択時に公開予定である。また、FruitNeRF の複数果実データセットをインスタンスマスクで拡張している。

概要

我々は、対照学習とニューラル放射場を組み合わせ、果樹園の非構造的な入力写真から果実を数える新しい果実計数手法 FruitNeRF++ を提案する。本研究は、ニューラル意味場と果物固有のクラスタリング手法を組み合わせた FruitNeRF に基づいている。果物の種類ごとに適応が必要であることは、その手法の適用範囲を制限し、実用を難しくしている。この制限を取り除くため、我々は、RGB と意味データを視覚基盤モデルが予測したインスタンスマスクで補完する、形状に依存しない複数果実の計数フレームワークを設計する。マスクは、各果実の識別情報をインスタンス埋め込みとしてニューラルインスタンスフィールドに符号化するために用いられる。ニューラルフィールドを体積的にサンプリングすることで、インスタンス特徴が埋め込まれた点群を抽出し、果物の種類に依存しない方法でクラスタリングして果実の数を得る。リンゴ、プラム、レモン、ナシ、モモ、マンゴーを含む合成データセットと、実世界のリンゴのベンチマークデータセットを用いて手法を評価する。結果は、FruitNeRF++ がより制御しやすく、他の最先端手法と比べて良好な性能を示すことを示している。

リンク

arXiv 2505.19863: https://arxiv.org/abs/2505.19863
DOI 10.1109/IROS60139.2025.11247341: https://doi.org/10.1109/IROS60139.2025.11247341
PDF: https://arxiv.org/pdf/2505.19863v1
コード: https://github.com/meyerls/FruitNeRFpp
プロジェクトページ: https://meyerls.github.io/fruit_nerfpp