欧亚国际

绿色分数（GF）指特定视角下冠层图像中绿色像素的比例，GF从0到1变化，表征作物光合作用的叶面积越大、光截获的能力越强。可见，大田条件下，监测作物生育期内GF动态，能够定量刻画作物冠层生长和发育过程，指导种质资源的精准高效鉴定。

GF的估算精度取决于图像分割算法的性能。大田条件下，光照条件、土壤/水田背景、冠层结构等多因素复杂多变且相互叠加，为田间冠层影像的精准分割带来巨大挑战。近年来，基于深度学习的语义分割算法快速发展，然而，农业领域公开的语义分割数据集缺乏，需要人为标注数以千计的图像构建训练数据集，像素级标注所需成本高昂、人工标注不确定性大，严重限制了GF估算精度的提升。

近日，Plant Phenomics 在线发表了南京农业大学前沿交叉研究院PheniX实验室Enhancing green fraction estimation in rice and wheat crops: a self-supervised deep learning semantic segmentation approach 的研究论文。该研究开发的水稻和小麦图像分割模型已公开：http://github.com/PheniX-Lab/sim2real-seg。

该研究利用数字植物表型平台（Digital Plant Phenotyping Platform, D3P）自动生成大量田间水稻和小麦模拟图像，自带像素级分割标签（sim dataset）。进一步利用CycleGAN模型，缩小模拟图像与真实田间图像的特征差距（图1），迁移过后的图像（sim2real dataset）与真实图像更为接近（图2）。

基于D3P生成自带像素级标签的Sim2real小麦和水稻数据集，训练了U-Net，DeepLabV3+，SegFormer三种典型深度语义分割模型，并利用来自中国、法国、日本、瑞士等四个国家、五个地区、不同生育期的小麦和水稻田间数据评估了模型精度。结果表明，使用SegFormer训练8000张水稻或小麦sim2real图像得到的分割模型，精度最优（小麦：R2 = 0.984，RMSE = 0.028；水稻：R2 = 0.967，RMSE = 0.048）（图3）。

本研究利用三维模型和域自适应算法，生成数以万计、自带像素级标签的训练数据集，无需人工标注，极大降低了标注成本，提高了数据集的多样性，保证了标签精度；构建了水稻、小麦田间图像语义分割模型，实现了对绿色分数GF生育期动态的高精度估算（图4）。

图1结合数字植物表型平台D3P和域自适应算法CycleGAN进行虚拟图像的生成与优化

图2水稻与小麦的真实(real)，模拟(sim)，域自适应(sim2real)图像

图3使用SegFormer训练水稻与小麦的真实(real)，模拟(sim)，域自适应(sim2real)图像数据集得到的模型，在4个国家5个地区的水稻与小麦数据集上进行绿色分数估算精度验证

图4水稻与小麦的绿色分数动态曲线

南京农业大学前沿交叉研究院、教育部植物表型工程中心、中法植物表型联合实验室PheniX Lab博士研究生高杨明睿与钟山青年研究员李英伦为本文共同第一作者，南京农业大学刘守阳教授为本文通信作者。华中科技大学陆昊副教授、东京大学郭威副教授、华中农业大学杨万能教授参与了本研究。相关工作得到了科技部政府间国际科技创新合作重点专项、“十四五”重点研发计划、国家自然科学基金和江苏省卓越博士后计划等项目的资助。

论文链接：

http://doi.org/10.34133/plantphenomics.00‍64

模型公开：

http://github.com/PheniX-Lab/sim2real-seg

——推荐阅读——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

http://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虚拟图像“以假乱真”，无需人工标注，自监督创建小麦表型算法

Combining high-resolution imaging, deep learning, and dynamic modelling to separate disease and senescence in wheat canopies

http://doi.org/10.34133/plantphenomics.0053

Plant Phenomics | 结合高分辨率影像、深度学习和动态建模分离小麦冠层的疾病和衰老

加入作者交流群