FruitNeRF++: A Generalized Multi-Fruit Counting Method Utilizing Contrastive Learning and Neural Radiance Fields

저자: Lukas Meyer, Andrei-Timotei Ardelean, Tim Weyrich, Marc Stamminger · IROS 2025

라이선스

오픈 액세스
논문: CC BY 4.0

아래 내용은 모두 논문의 라이선스(CC BY 4.0)에 따라 논문 전문을 바탕으로 하며, 그림에는 저자를 표기했습니다.

요약

과일 NeRF에 대조 학습으로 훈련한 인스턴스 필드를 추가하여, 과일별 형상 템플릿 없이 3D 점군을 클러스터링해 어떤 종류의 과일이든 셀 수 있게 한다.

중요한 이유

하나의 파이프라인이 과일별 템플릿 없이 여섯 가지 과일 종류를 처리하며, 순서 없는 사진과 마스크용 기성 파운데이션 모델을 사용한다. 과수원 수확량 추정에서 이는 템플릿 기반 클러스터링에 필요했던 과일별, 생육 단계별 조정을 없앤다.

문제

과일 계수는 수확 인력 계획, 포장, 저장, 가공을 뒷받침하지만, 기존 방법 대부분은 한 가지 과일 종류를 위해 만들어졌다. 이전 연구인 FruitNeRF는 RGB와 의미 마스크를 신경 필드로 끌어올리지만, 그 다단계 클러스터링은 과일별 템플릿과 여러 민감한 하이퍼파라미터에 의존하며, 이는 과일 종류와 생육 단계에 따라 바뀌어야 한다.

제안 방법

FruitNeRF++는 NeRF에 신경 인스턴스 필드를 추가하고, Grounded-SAM 또는 Detic의 2D 인스턴스 마스크에 대해 InfoNCE 방식의 대조 손실로 이를 학습시키며, 각 과일의 평균 특징을 양성 샘플로, 인접한 과일을 어려운 음성 샘플로 사용한다. 밀도 및 색상 필드를 먼저 학습하고, 그다음 의미 필드를, 마지막으로 나머지를 고정한 채 인스턴스 필드만 학습한다. 장면은 32차원 인스턴스 특징을 지닌 과일 점군으로 샘플링되어 k-means로 분할되며, 각 분할은 코사인 특징 거리와 유클리드 거리의 가중합을 사용해 HDBSCAN으로 클러스터링된다.

핵심 통찰

모든 픽셀 쌍을 대조하는 대신 과일당 하나의 프로토타입(평균) 특징을 양성 샘플로 사용하자 인스턴스 필드에 더 나은 학습 신호를 주었다.
균일 픽셀 샘플링은 NeRF 색상 학습에는 적합하지만 배경 픽셀이 지배적이어서 인스턴스 학습에는 적합하지 않다. 인접한 과일 그룹을 샘플링하면 어려운 지역 음성 샘플이 제공된다.
코사인 특징 거리와 유클리드 위치 거리를 함께 사용한 클러스터링이 둘 중 하나만 사용한 것보다 잘 작동했다. 합성 데이터에서는 서로 닿아 있는 과일이 드물어 분리의 대부분이 위치에서 나왔다. Section IV-E는 유클리드 가중치로 λe = 5를 제시하지만, Section V는 합성 실험에 λe = 1, FUJI에 λe = 5를 사용했다고 밝힌다.
합성 데이터에서는 0.1에서 0.3 사이, 0.2에서 최고인 대조 온도 τ가 작동했다. 그 범위를 벗어나면 클러스터링이 인스턴스를 분리하지 못했다.
마스크 품질이 계수를 제한한다. 합성 데이터에서 Grounded-SAM 마스크는 평균 IoU 0.561, Detic은 0.49에 도달했으며, 과일을 가로지르는 잎이나 가지는 과일 하나를 두 인스턴스로 나눌 수 있다.

주요 결과

여섯 가지 합성 과일 종류에 대한 평균 F1: 정답 마스크로 0.925, Grounded-SAM 마스크로 0.832, Detic 마스크로 0.776.
정답 마스크를 사용한 과일별 F1, FruitNeRF++ 대 FruitNeRF(Table II, FruitNeRF 값은 해당 논문에서 인용): 사과 0.996 대 1, 자두 0.859 대 0.885, 레몬 0.978 대 0.978, 배 0.996 대 0.971, 복숭아 0.996 대 0.987, 망고 0.713 대 0.873.
망고가 가장 어려운 경우였으며(정답 마스크로 1150개 중 649개 계수), 저자들은 이를 많은 과일 수와 심한 가림 탓으로 본다.
실제 FUJI 사과 데이터셋(이미지 582장, 나무 12그루): Grounded-SAM 마스크로 F1 0.765로, Gené-Mola et al.의 과일별 방법의 0.881에 못 미친다.
가정용 물체 100개로 구성된 Messy Rooms 데이터셋에서 99개 물체가 검출되었다.
사과의 경우 임베딩 크기 D = 16에서 F1이 1에 도달한다. 자두와 망고는 더 큰 임베딩이 필요하다.

한계

FUJI 같은 더 큰 장면의 학습에는 Nvidia A5000(24 GB)에서 약 8시간이 걸려 실시간이 아니다. 인스턴스 필드의 느린 수렴이 그 시간의 절반 이상을 차지한다.
결과는 나무를 얼마나 잘 촬영했는지에 좌우된다. 노이즈가 있는 데이터, 주로 부정확한 카메라 자세는 한 과일의 임베딩이 이웃 과일을 오염시키게 만든다.
인스턴스 분할은 잎이나 가지가 과일을 시각적으로 나눌 때 두 인스턴스로 예측하는 경향이 있어, 두 절반의 임베딩을 서로 멀어지게 한다.
바나나, 베리, 대추야자처럼 송이로 자라는 과일은 송이 크기와 개수를 추정하기 위한 추가 연구가 필요하다.
실제 평가는 단일 사과 데이터셋만 다루며, 그 카메라 자세는 COLMAP과 나무 양쪽 면의 수동 정합이 필요했다. 저자들은 Gené-Mola et al.과의 격차를 이러한 노이즈 있는 자세 탓으로 본다.

분야에 미친 영향

FruitNeRF++는 IROS 2025 수상 후보작이었으며 인용 횟수는 5회이다. 저자들은 코드 저장소 github.com/meyerls/FruitNeRFpp를 제시하며 코드는 게재 승인 시 공개될 예정이고, FruitNeRF 다중 과일 데이터셋을 인스턴스 마스크로 확장한다.

초록

우리는 대조 학습과 신경 방사 필드를 결합하여 과수원을 찍은 비정형 입력 사진에서 과일을 세는 새로운 과일 계수 방법인 FruitNeRF++를 소개한다. 우리의 연구는 신경 의미 필드와 과일별 클러스터링 방법을 결합한 FruitNeRF를 기반으로 한다. 과일 종류마다 적응이 필요하다는 요구 사항은 그 방법의 적용 가능성을 제한하고 실제로 사용하기 어렵게 만든다. 이 한계를 없애기 위해 우리는 비전 파운데이션 모델이 예측한 인스턴스 마스크로 RGB 및 의미 데이터를 보완하는, 형상에 무관한 다중 과일 계수 프레임워크를 설계한다. 마스크는 각 과일의 정체성을 인스턴스 임베딩으로서 신경 인스턴스 필드에 인코딩하는 데 사용된다. 신경 필드를 체적 샘플링하여 인스턴스 특징이 포함된 점군을 추출하며, 이를 과일 종류와 무관한 방식으로 클러스터링하여 과일 수를 얻을 수 있다. 우리는 사과, 자두, 레몬, 배, 복숭아, 망고를 포함하는 합성 데이터셋과 실제 사과 벤치마크 데이터셋을 사용하여 방법을 평가한다. 우리의 결과는 FruitNeRF++가 제어하기 더 쉽고 다른 최신 방법과 비교해 유리한 성능을 보인다는 것을 입증한다.

링크

arXiv 2505.19863: https://arxiv.org/abs/2505.19863
DOI 10.1109/IROS60139.2025.11247341: https://doi.org/10.1109/IROS60139.2025.11247341
PDF: https://arxiv.org/pdf/2505.19863v1
코드: https://github.com/meyerls/FruitNeRFpp
프로젝트 페이지: https://meyerls.github.io/fruit_nerfpp