欧亚国际

柑橘是全球价值最高的水果之一，其果皮颜色对果实的生长和成熟具有重要的指示作用。预测和监测柑橘颜色转变可以辅助农作物管理和收获安排的决策。目前，柑橘颜色预测方法存在准确性不高且依赖人力资源的问题。为了解决这个问题，研究者们开始探索计算机视觉技术在柑橘颜色预测中的应用，以实现非破坏性和客观的预测方法。然而，现有方法受限于光照条件和视角的影响，难以实现准确的柑橘颜色预测。

2023年5月，Plant Phenomics在线发表了华中农业大学题为Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network 的研究论文。

本研究旨在提出一个框架，用于预测和可视化果园中柑橘类水果的颜色转变。研究者们开发了一种基于深度神经网络的新框架，包括分割网络、掩模引导生成网络和感知损失网络。该框架能够在不同时间间隔内准确预测柑橘果皮的颜色。研究团队还开发了一款基于安卓平台的应用程序，方便在实际场景中的应用。

本文核心内容为提出的网络框架如图1所示，由三个模块组成，一个分割网络、一个生成网络和一个损失网络。为了定位视野中的柑橘类水果，我们采用了U-Net编码器-解码器的结构作为分割网络，因为它简单、高效，而且在数据量有限的情况下具有一定的鲁棒性和泛化性。利用分割的结果，生成网络可以保留背景的同时在图中柑橘所在的位置生成其未来的颜色。与分割网络类似，提出的生成网络也采用了编码器-解码器结构。我们使用Resize Convolution的方法代替Transposed Convolution的方法，这有助于获得更高质量的图像，因为后者可能导致棋盘效应。此外，设计了两个可训练的嵌入层（Embedding Layers），将输入的时间间隔编码为向量，分别与编码器和解码器中得到的特征图进行融合。通过我们的设计，生成的图像由输入图像和时间间隔共同决定。损失网络用于度量预测颜色和真实颜色之间的差异并作为损失函数对生成网络的参数进行更新。该网络基于在ImageNet 数据集上进行训练的VGG19 模型。我们将生成网络的输入图像，输出图像以及真实图像标签输入到损失网络中提取各层次的特征，构造了由内容损失和风格损失组成的感知损失。其中风格损失的计算利用了特征图的Gram矩阵和分割网络得到的柑橘语义掩码，消除了生成图像和真实标签中柑橘的大小、所在位置以及背景信息的影响。

图1 The architecture of the proposed deep mask-guided generative network.

研究结果表明，对于柑橘图像分割任务，测试集上的 MIoU达到了96% 以上。如图2所示，即使遇到强光或不规则光光照时分割的性能仍然令人满意。对于柑橘颜色预测任务，在测试集上获得的PSNR （峰值信道噪声比）为 30.01，表明生成的图像质量良好， MLSL （平均风格损失）达到2.710并且CCI（柑橘颜色指标）误差仅有0.841，表明生成的图像与真实图像中的柑橘具有很高的相似性。

图2The training process and results of the semantic segmentation task.

图3分别展示了输入同一柑橘图像不同时间间隔和输入不同柑橘图像同一时间间隔的预测结果。第一种情形中随着时间间隔的增加，果皮的颜色逐渐从黄绿色变为橙色，与实际场景中的观察结果相符。此外，生成的图像还保留了果皮不同区域的亮度、纹理特征和颜色变化，与输入图像相一致。这些丰富的特征体现了本模型在自然光条件下的鲁棒性。第二种情形中对于相同的输入时间，生成的图像仍然能够准确地根据不同的输入图像预测其颜色变换。需要注意的是，输入图像中存在着不均匀的着色，例如黄色条纹和局部绿色斑点，这些特征也能够在生成的图像中得以保留使得图像更加逼真。

图3 The results generated from the same input image on the test set. N represents the input time interval. The results generated from different input images on the test set.

为了方便在现实场景中的应用，研究团队将该模型移植到了安卓设备APP上，通过手机相机拍摄柑橘图像并输入感兴趣的时间间隔即可完成预测，如图4所示。

图4 The testing of the androids-based application.

华中农业大学信息学院硕士研究生鲍泽韩（主要研究方向为深度学习以及计算机视觉技术在植物表型分析上的应用）和李伟夫副教授（主要研究方向为深度学习的理论、算法及其应用）和为本文共同第一作者，华中农业大学工学院陈耀晖副研究员（主要研究方向为智慧园艺技术与装备体系的构建）和海南大学生物医学工程学院肖驰副教授（主要研究方向为基于深度学习的生物医学图像处理、海量大脑三维显微成像数据的处理与分析等）为通讯作者。

‍http://spj.science.org/doi/10.34133/plantphenomics.0057

——推荐阅读——

Phenotypic Analysis of Diseased Plant Leaves Using Supervised and Weakly Supervised Deep Learning

http://doi/10.34133/plantphenomics.002‍2

Plant Phenomics | 基于全监督和弱监督深度学习的病损叶片表型分析研究

From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection

http://doi.org/10.34133/plantphenomics.0017

Plant Phenomics | 从原型到推理：深度学习在高粱穗部检测中的应用

加入作者交流群