FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields

作者: Lukas Meyer, Andrei-Timotei Ardelean, Tim Weyrich, Marc Stamminger · IROS 2025

授權條款

開放取用
論文: CC BY 4.0

以下內容皆依據論文全文，依其 CC BY 4.0 授權條款使用；圖表已標示作者。

一句話摘要

在水果 NeRF 中加入一個以對比方式訓練的實例場，使任何種類的水果都能透過對 3D 點雲分群來計數，不需要針對特定水果的形狀範本。

為何重要

單一流程就能處理六種水果，不需要逐種水果的範本，使用的是無序照片與現成的基礎模型來產生遮罩。對果園產量估計而言，這省去了以範本為基礎的分群所需、針對每種水果與每個生長階段的調校。

問題

水果計數有助於採收人力規劃、包裝、儲存與加工，但現有方法大多只針對一種水果設計。前身 FruitNeRF 把 RGB 與語意遮罩提升到神經場中，但其串接式分群仰賴針對特定水果的範本與數個敏感的超參數，這些都必須隨水果種類與生長階段而調整。

提出的方法

FruitNeRF++ 在 NeRF 中加入一個神經實例場，並在來自 Grounded-SAM 或 Detic 的 2D 實例遮罩上，以 InfoNCE 式的對比損失訓練它，以每顆水果的平均特徵作為正樣本，以相鄰水果作為困難負樣本。先訓練密度場與色彩場，接著訓練語意場，最後在凍結其他場的情況下單獨訓練實例場。場景被取樣為帶有 32 維實例特徵的水果點雲，以 k-means 切分為數個分區，再對每個分區以 HDBSCAN 分群，所用距離為餘弦特徵距離與歐氏距離的加權和。

關鍵見解

以每顆水果的一個原型（平均）特徵作為正樣本，而不是對每一對像素做對比，為實例場提供了更好的訓練訊號。
均勻像素取樣適合 NeRF 的色彩訓練，卻不適合實例學習，因為背景像素占多數；對相鄰水果成組取樣則能提供困難的局部負樣本。
以餘弦特徵距離加上歐氏位置距離進行分群，效果勝過只用其中任何一種；在合成資料上，由於彼此接觸的水果很少，大部分的區分來自位置。Section IV-E 給出的歐氏距離權重為 λe = 5，而 Section V 表示合成實驗使用 λe = 1，FUJI 使用 λe = 5。
對比溫度 τ 在 0.1 到 0.3 之間時在合成資料上有效，於 0.2 時達到最佳；超出此範圍，分群就無法區分實例。
遮罩品質限制了計數結果：在合成資料上，Grounded-SAM 遮罩的平均 IoU 達到 0.561，Detic 為 0.49，而一片葉子或一根樹枝橫越水果，就可能把它拆成兩個實例。

主要結果

六種合成水果的平均 F1：使用真值遮罩時為 0.925，使用 Grounded-SAM 遮罩時為 0.832，使用 Detic 遮罩時為 0.776。
使用真值遮罩時，FruitNeRF++ 與 FruitNeRF 的逐種水果 F1 比較（Table II，FruitNeRF 的數值取自其本身的論文）：蘋果 0.996 對 1，李子 0.859 對 0.885，檸檬 0.978 對 0.978，梨 0.996 對 0.971，桃子 0.996 對 0.987，芒果 0.713 對 0.873。
芒果是最困難的情況（使用真值遮罩時 1150 顆中數出 649 顆），作者將其歸因於果實數量多且遮蔽嚴重。
真實 FUJI 蘋果資料集（582 張影像，12 棵樹）：使用 Grounded-SAM 遮罩時 F1 為 0.765，而 Gené-Mola et al. 針對特定水果的方法為 0.881。
在包含 100 件家用物品的 Messy Rooms 資料集上，偵測出 99 件物品。
對蘋果而言，嵌入維度 D = 16 時 F1 即達到 1；李子與芒果需要更大的嵌入。

限制

在 FUJI 這類較大的場景上訓練，於 Nvidia A5000（24 GB）上約需 8 小時，因此此方法並非即時；實例場收斂緩慢占了其中一半以上的時間。
結果取決於對果樹的良好涵蓋；含雜訊的資料（主要是不準確的相機姿態）會讓一顆水果的嵌入汙染相鄰的水果。
當葉子或樹枝在視覺上把水果分開時，實例分割往往會預測出兩個實例，把兩半的嵌入拉開。
成串生長的水果，例如香蕉、莓果或椰棗，需要進一步研究來估計串的大小與數量。
真實世界的評估只涵蓋一個蘋果資料集，其相機姿態需要借助 COLMAP 再加上對樹兩側的人工對位；作者將與 Gené-Mola et al. 之間的差距歸因於這些含雜訊的姿態。

對領域的影響

FruitNeRF++ 入圍 IROS 2025 獎項決選，被引用 5 次。作者提供了程式碼儲存庫 github.com/meyerls/FruitNeRFpp，程式碼將在論文被接受後釋出，並為 FruitNeRF 多水果資料集補上實例遮罩。

摘要

我們提出 FruitNeRF++，一種新穎的水果計數方法，結合對比學習與神經輻射場，從果園的非結構化輸入照片中清點水果。我們的研究以 FruitNeRF 為基礎，後者採用神經語意場，並結合針對特定水果的分群方法。必須針對每種水果類型進行調整，限制了該方法的適用性，也使其難以在實務中使用。為了消除這項限制，我們設計了一個與形狀無關的多水果計數框架，以視覺基礎模型預測的實例遮罩來補充 RGB 與語意資料。這些遮罩被用來把每顆水果的身分編碼為實例嵌入，存入神經實例場中。透過對神經場進行體積取樣，我們擷取出嵌入實例特徵的點雲，可以用與水果種類無關的方式分群，以得到水果數量。我們使用一個包含蘋果、李子、檸檬、梨、桃子與芒果的合成資料集，以及一個真實世界的蘋果基準資料集，評估我們的方法。結果顯示，FruitNeRF++ 更容易控制，且與其他最先進的方法相比表現良好。

連結

arXiv 2505.19863: https://arxiv.org/abs/2505.19863
DOI 10.1109/IROS60139.2025.11247341: https://doi.org/10.1109/IROS60139.2025.11247341
PDF: https://arxiv.org/pdf/2505.19863v1
程式碼: https://github.com/meyerls/FruitNeRFpp
專案頁面: https://meyerls.github.io/fruit_nerfpp