品质至上,客户至上,您的满意就是我们的目标
技术文章
当前位置: 首页 > 技术文章
Plant Phenomics | 华中科技大学曹治国教授提出用于麦穗检测的动态颜色变换网络
发表时间:2022-10-08 08:51:25点击:837
传统的小麦特征监测依赖于人工测量,既耗时又耗力。随着无人机、智能手机等低成本成像平台的普及,基于田间图像的小麦观测成为了替代人工观测的便捷选择。其中,麦穗检测有助于自动测量多种小麦特征,例如小麦密度和麦穗生长时期。然而,田间麦穗检测存在许多挑战:不同观测环境会导致显著的光照变化,且麦穗在不同的生长时期会呈现不同的颜色与性状。
2022年2月,Plant Phenomics在线发表了华中科技大学曹治国教授团队题为Dynamic Color Transform Networks for Wheat Head Detection的研究论文,提出了一种动态颜色变换网络,有效改善了麦穗检测的精度。
本文通过观察发现适当地改变输入图像的颜色通道可以提升麦穗检测的效果。受到该观察的启发,本文提出用动态颜色变换网络来对图像进行线性颜色通道变换,其变换表达式如下所示:
其中,R,G,B是原始图像的颜色通道,αR,αG,αB和βR,βG,βB是网络预测的颜色变换参数,R’,G’,B’是变换后的图像颜色通道。
具体来说,给定一个目标检测模型,本文将动态颜色变换网络与检测模型相结合,以实现自适应颜色变换的麦穗检测,方法整体流程图如下图所示:
图1 方法整体流程图
其中,动态颜色变换网络首先预测变换参数α和β,将输入图像x变换为x’。接着,变换后的图像x’被送入目标检测网络,得到最终的预测。由于动态颜色变换网络与目标检测模型相互独立,因此该网络具有较强的可拓展性,可以与任意的目标检测模型相结合。本文以Scaled-YOLOv4为基准目标检测模型。
进一步的,本文提出了两种动态颜色建模的方式,分别是基于回归的颜色建模和基于分类的颜色建模。前者直接预测颜色变换参数α和β,后者则先预测α和β的分布,然后再基于分布计算得到最终的预测参数。二者的网络架构图如图2所示:
图2 (a)为基于回归的颜色建模,(b)为基于分类的颜色建模
本文在全球麦穗检测数据集2021上进行了实验,以验证动态颜色变换网络的有效性。此外,本文方法也参加了2021年全球麦穗检测挑战赛,并获得了亚军。
本文将提出的动态颜色变换网络与Scaled-YOLOv4检测模型相结合,平均域检测精度如下表所示,可以看到引入动态颜色变换网络可以有效提升麦穗检测精度。
本文进一步研究了不同主干网络对于检测性能的影响,具体结果如下表所示。可以发现,动态颜色变换网络对于主干网络并不敏感,使用轻量化网络(如ShuffleNetV2)和深网络(如ResNet18)都能取得性能提升。
图3展示了本文方法的检测结果,从中可以看到本文方法能够取得较好的检测效果。
图3 检测结果可视化,其中红框为模型预测,绿框为真实目标标注
本文针对田间麦穗检测问题,提出了一种简单有效的动态颜色变换网络。该网络可以自适应地校正输入图像的颜色通道,对光照变化具有较强的鲁棒性,有效提升了麦穗检测的精度。值得一提的是,本文方法在2021年全球麦穗检测挑战赛中取得了亚军的成绩,平均域准确率为0.695。
论文第一作者为刘承鑫(华中科技大学,博士研究生),论文通讯作者为曹治国教授,合作者包括华中科技大学的王可为(硕士研究生)和陆昊副教授。该研究得到国家自然科学基金(61876211)和中央高校基本科研专项资金(2021XXJS095)的支持。
作者团队介绍:
曹治国教授的研究方向是图像理解与分析、深度信息提取与真三维视频处理、运动检测与行为分析等。其率领的团队近五年在CVPR、ICCV、ECCV、IEEE TIP、TCSVT等国际权威期刊和国际顶级学术会议发表论文数十篇。
论文链接
http://doi.org/10.34133/2022/9818452
——推荐阅读——
Global Wheat Head Detection 2021: An Improved Dataset for Benchmarking Wheat Head Detection Methods
http://doi.org/10.34133/2021/9846158
Plant Phenomics | GWHD_2021:改进后的全球麦穗检测数据集
Panicle-3D: Efficient phenotyping tool for precise semantic segmentation of rice panicle point cloud
http://doi.org/10.34133/2021/9838929
Plant Phenomics | Panicle-3D:水稻穗点云精确语义分割的高效表型工具
加入作者交流群
扫码添加小编微信,拉您进入《植物表型组学》作者交流群,群内不定期开展作者分享会、专刊发布会等高质量活动。
添加小编微信,备注姓名+单位+PP,加入作者交流群
About Plant Phenomics
《植物表型组学》(Plant Phenomics)是由南京农业大学和美国科学促进会(AAAS)合作创办的英文学术期刊,于2019年1月正式上线发行。采用开放获取形式,刊载植物表型组学交叉学科热点领域具有突破性科研进展的原创性研究论文、综述、数据集和观点。具体范围涵盖高通量表型分析的最新技术,基于图像分析和机器学习的表型分析研究,提取表型信息的新算法,作物栽培、植物育种和农业实践中的表型组学新应用,与植物表型相结合的分子生物学、植物生理学、统计学、作物模型和其他组学研究,表型组学相关的植物生物学等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等数据库收录。科瑞唯安JCR2021影响因子为6.061,位于农艺学、植物科学、遥感一区,生物大类一区(Top期刊)。2020年入选中国科技期刊卓越行动计划高起点新刊项目。
说明:本文由《植物表型组学》编辑部负责组稿。
中文内容仅供参考,一切内容以英文原版为准。
特邀作者:陆昊
编辑:王平
审核:尹欢、孔敏