欧亚国际

视觉检测技术在现代化智慧果园中有着重要的应用需求和发展意义。通过视觉检测技术获取图像中果实的位置和类别信息，是果实定位、果实估产和果实自动化采摘等果园智能化工作的技术基础。当前，基于深度学习的目标检测技术具有检测精度高、模型鲁棒性好等优点，已逐渐替代传统视觉检测方法。然而基于深度学习的果实检测技术在实际应用过程中，多数需要制作大量带有标签数据的果实数据集支撑模型的训练学习，当实际任务中果实采集场景或者果实类别发生更改时，通常需要重新制作相应果实数据集并训练新的检测模型，大量的数据集标注工作导致整个工作过程耗时耗力、效率低下。因此，建立一种减少果实数据集标注工作量且实现果实高精度检测的方法具有迫切的需求。

近日，Plant Phenomics在线发表了北京工业大学信息学部张文利教授团队与东京大学农学部郭威副教授团队合作完成的题为EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection的研究成果。该研究提出一种不同类别存在部分形状差异的果实数据集之间的标签数据转换方法，该方法在基于一套已标注源域果实数据集基础上，可自动生成不同类别的无标注目标域果实数据集的标签数据，并获取高检测精度的目标域果实检测模型，有效减少数据集标注工作量。

该团队前期研究成果“Easy domain adaptation method for filling the species gap in deep learning-based fruit detection”可应用于实现形状近似的不同类别果实数据集的标签转换，基于前期研究基础上，本次工作进一步深入研究形状存在部分差异的不同类别果实数据集标签数据的高精度转换。

该研究提出并应用生成对抗网络Across-CycleGAN，学习不同域中不同类别果实的形状特征差异，训练模型在不同类别且形状存在部分差异的果实图像域之间学习图像分布映射关系，将源域果实图像转换生成与目标域果实图像高度相似的仿真图像数据，并结合源域果实数据集标签数据构建已标注仿真果实数据集。文中实验以柑橘作为源域果实，火龙果及芒果等作为目标域果实，实现柑橘到火龙果及芒果等果实的图像转换操作。（图1）

图1 源域果实图像和目标域果实图像（基于Across-CycleGAN生成）：(a)源域真实柑橘果实图像；(b)~(f)目标域仿真果实图像：果实类别分别为火龙果、芒果、梨、猕猴桃、青椒。

由于仿真果实图像与真实目标域果实图像具有高度相似的特征，因此该研究通过采用已标注仿真果实数据集训练果实检测模型OrangeYolo，可应用于目标域果实检测框的获取，并将检测框信息转换为相应果实图像伪标签数据。

接着，该研究提出伪标签自适应阈值选择策略，通过动态调整伪标签数据置信度阈值，自适应调整检测模型置信度阈值参数，有效降低噪声伪标签数据（误标）的影响；并通过循环微调果实检测网络和更新伪标签数据，逐步提高果实检测网络对目标域果实的检测性能，最终获取目标域中更高质量的果实图像标签数据（图2），实现无标注目标域真实果实数据集标签数据的高效获取。

图2 真实场景下不同类别果实图像检测结果示意图：(a)和(b)分别表示火龙果及芒果果实图像检测结果；其中蓝框表示模型检测框，可应用于转换生成果实图像相应标签数据，实现果实数据集的自动标注功能

该研究通过Across-CycleGAN构建已标注目标域仿真果实数据集，进一步采用伪标签自适应阈值选择策略训练目标域果实检测模型并通过对比实验和消融实验进行性能比较，验证该研究方法的有效性。(表1、表2、表3)

表1 基于不同图像转换网络，初步获取的目标域预训练火龙果、芒果果实检测模型的性能测试结果

表2 Across-CycleGAN网络消融实验

表3 在基于Across-CycleGAN网络构建得到的目标域预训练果实检测模型基础上，采用不同伪标签方法生成无标注果实数据集标签数据的实验结果；其中，T-PL和PL-SL分别表示不同伪标签生成方法。

研究表明，在已标注源域柑橘果实数据集基础上，实现对与柑橘存在部分形状差异的目标域火龙果和芒果图像的自动标注功能，并获取高精度火龙果果实检测模型和芒果果实检测模型，果实检测精度指标mAP分别达到82.1%和 85.0%，有效减少果实数据集标注工作量，提高现代化果园工作效率。

论文链接

http://doi.org/10.34133/2022/9761674‍

——推荐阅读——BFP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environment

http://doi.org/10.34133/2022/‍989246‍4

Plant Phenomics | 基于可平衡特征金字塔网络的小苹果检测模型

Objective Phenotyping of Root System Architecture Using Image Augmentation and Machine Learning in Alfalfa (Medicago sativa L.)
http://doi.org/10.34133/2022/9879610
Plant Phenomics | 基于图像增强和机器学习的苜蓿根系表型研究