实现自然场景下果实的快速识别和精准定位，可为果实采摘机器人的机器视觉系统提供关键的技术支持。然而，自然环境下的果实生长呈现不同的形态，其果实、枝干树叶表现多为随机分布、相互遮挡的特点，果实图像也因光照变化、拍摄角度距离的不同而动态变化。在这种非结构化果园环境下，目标视觉信息的获取已成为农业智能设备在生产应用中的重大挑战。

2023年6月，Plant Phenomics在线发表了山东师范大学、卡迪夫大学、山东理工大学与机械工业设施农业测控技术与装备重点实验室合作的题为FCOS-LSC: A Novel Model for Green Fruit Detection in a Complex Orchard Environment的研究论文。

本研究以绿色苹果、柿子为研究对象，提出一种有效且准确的果实检测模型（图1），能够实现对出现重叠遮挡、或受光照条件影响下绿色果实图像的高识别和定位。创新的果实检测模型具体做出如下贡献：（1）骨干网络引入形变卷积，更好地适应模型检测时出现的不同果实形状特征；（2）在颈部网络中，LSC注意力嵌入到特征图的尺度、空间、通道三个维度上，抑制特征图中的噪声干扰，使模型更加关注有效的像素信息；（3）在检测头中，设计一种新的正负样本分配方法，提高模型对监督信号的鉴别能力；（4）FCOS-LSC在准确性和鲁棒性方面优于其它先进的模型，更适用于复杂果园中对绿色果实的检测任务。

图1 果实检测模型FCOS-LSC的整体架构

实验结果表明：提出的FCOS-LSC在Apple和Persimmon数据集上能够提升果实检测精度，预测结果展示见图2和图3。FCOS-LSC的检测效果优于Faster R-CNN、Mask R-CNN、RetinaNet与FoveaBox等当前流行的深度学习网络。研究发现，FCOS-LSC能够实现较高的检测精度，存在极少的遗漏和误检果实，能够应对多重因素干扰的果实图像并输出检测结果。该方法以较少的模型参数和计算复杂度实现了高效的同色系果实检测任务，同时表现出的高精度和鲁棒性为其在果园中智能农业设备部署提供了进一步的可能。该模型在不同阈值下苹果精确度-召回率曲线如图4所示。

图2 Apple dataset

图3 Persimmon dataset

图4 不同阈值下苹果精确度与召回率的性能评估

作者介绍

论文链接：

http://doi.org/10.34133/plantphenomics.0069

——推荐阅读——

Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology

http://doi.org/10.34133/2022/9753427

Plant Phenomics | 基于表型图像信息与反向神经网络预测温室葡萄成熟度

Wheat Ear Segmentation Based on a Multisensor System and Suerpixel Classification

http://doi.org/10.34133/2022/9841985

Plant Phenomics | 基于多传感器系统和超像素分类的麦穗图像分割

加入作者交流群