欧亚国际

随着人工智能技术的发展,传统农业逐渐引入了人工智能技术,以实现智能化信息化建设。深度学习在智能果园等领域具有广阔的应用前景。高性能的水果检测技术可以和农业机械设备有效结合,用于定位、分类、预测产量等多个方面。但是,当前深度学习模型需要大量带标注的数据集来训练,手工标注非常耗时费力。之前的EasyDAM系列研究工作使用生成对抗网络生成模拟目标域的水果图像,以减少人工标注数据集的工作量。但是,这些方法在源域数据集的选择上存在主观性,往往根据目标域需求任意选择。另外,这些方法仍需要人工标注源域数据集。因此,自动标注方法的泛化能力有限,实际应用中对不同场景的适应性较差。如何选择最优的源域数据集以适应不同目标域,并完全消除人工标注过程,是当前的研究难点。

近日，Plant Phenomics在线发表了北京工业大学信息学部张文利教授团队与东京大学农学部郭威副教授团队题为EasyDAM_V3: Automatic Fruit Labeling Based on Optimal Source Domain Selection and Data Synthesis via a Knowledge Graph 的研究成果。该研究提出了一种基于多维空间特征模型的最优源域建立方法，用于选择最合适的源域;通过构建果园场景层次成分合成规则知识图，提出了一种基于透明背景水果图像平移的大容量数据集构建方法。该研究为图像转换任务提供了源域数据集选择的先验知识,通过全自动大容量标注数据集构建方法,实现了零标注成本下的自动标注,可以推广到更多农作物目标的检测与识别任务,降低数据采集和标注的人工成本,提高模型泛化性。

该团队前期研究成果“EasyDAM_V2: Efficient Data Labeling Method for Multishape, Cross-Species Fruit Detection”研究形状存在部分差异的不同类别果实数据集标签数据的高精度转换。本次工作重点是如何在创建与目标域图像具有高真实感和强相似性的合成数据集的同时避免人工标注，使深度学习模型能够提取更有效的目标特征。

本研究提出了一种新的自动水果标注方法EasyDAM_V3。该方法的流程如图1所示,方法创新主要包含三个模块：

(a) 最优源域选择模块：该模块通过多维特征分析描述不同水果的形状、颜色和纹理特征，构建跨物种共性描述模型,选择最优的源域数据集，为图像转换模型提供先验知识（该模块的流程如图2所示）。

(b) 目标域合成数据集构建模块：该模块利用CycleGAN模型将源域的梨果图像转换为目标域的柑橘、苹果和番茄透明背景水果图像(如图3所示)，进一步构建含标签的合成目标域数据集(如图4所示)，自动获得标注信息。

(c) 基于anchor-free检测器的水果检测模块：使用在合成数据集上训练的检测模型，结合伪标签自学习方法，迭代优化目标域水果图像的标注效果(如图5所示)。

图1 EasyDAM_V3总体流程图。图中有3个主要贡献(如图中黄色矩形部分所示):(a)在图像生成模块之前加入水果最优源域选择预处理算法，选择最合适的源域数据集;(b)将图像生成模块输出的水果图像输入目标域合成数据集构建模块，采用自动化方法合成模拟的目标域图像;(c)将模拟的目标域图像输入到基于无锚检测器的检测模块中，提取目标水果和背景的特征。采用伪标签自学习方法进一步提高了标签生成质量。最后的输出是实际目标域场景所需的水果标签。

图2多类目标域对应的果实生成最优源域选择方法流程图

图3利用CycleGAN模型生成目标域水果图像的可视化结果

图4合成数据集图像。(A)柑橘，(B)苹果，(C)番茄的合成图像

图5视觉图像效果的柑橘、苹果、番茄标签生成。(A)柑橘园，(B)苹果园，(C)番茄园

实验以梨果为源域,柑橘、苹果和番茄为目标域。结果表明，该方法可以实现自动标注不同目标域水果图像，目标数据集的平均标注精度分别达到90.94%、89.78%和90.84%(如表1所示)。EasyDAM_V3模型可以在自动标注任务中获得最优的源域，从而消除了人工标注过程，降低了相关成本和人工。

表1 将EasyDAM_V3模型得到的最终标签生成结果与EasyDAM_V1模型进行比较

论文链接：

‍http://doi.org/10.34133/plantphenomics.0067‍

——推荐阅读——

Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network

‍http://spj.science.org/doi/10.34133/plantphenomics.0057

Plant Phenomics | 基于生成式深度学习网络的柑橘表皮颜色可视化预测研究

Deep learning enables instant and versatile estimation of rice yield using ground-based RGB images

‍http://doi.org/10.34133/plantphenomics.0073‍

Plant Phenomics | 基于深度学习的地面RGB图像即时与全方位水稻产量估计

加入作者交流群