欧亚国际

光谱成像作为流行的表型技术之一，可以获得与结构、生化和生理性状相关的植物光谱和空间信息。然而，植物近端光谱成像可能会受到复杂的植物结构和光照条件的影响。诸如植物叶片的倾斜和卷曲、植物叶片与其他器官或树冠之间的相互遮挡以及植物与光照的相互作用等因素会极大地影响植物光谱成像的完整性和准确性，已成为近端植物表型分析的主要挑战之一。三维多光谱点云是一种有前景的多模态数据形式，其同时包含了了离散点的坐标和多波段光谱响应，在呈现植物生长和发育信息方面具有很强的互补性。但由于多模态数据融合的复杂性和光照效应，其生成精度仍然较低。因此，有必要开发一种新的方法来生成高质量的植物三维多光谱点云。

2023年3月，Plant Phenomics在线发表了浙江大学生物系统工程与食品科学学院、浙江大学植物表型创新团队、农作物光学成像实验室题为 Generating 3D multispectral point clouds of plants with fusion of snapshot spectral and RGB-D images 的研究论文。

本研究提出了一种生成高质量植物三维多光谱点云的新方法。SURF-Demons算法被用于融合近端获取的深度图像和快照光谱图像。为消除光照影响，作者开发了一种基于半球参考体和ANN的植物光谱图像反射率校正方法。所提出的SURF-Demons配准植物的RGB-D图像和快照光谱图像的平均SSIM达到了0.931，超过了其它经典方法（平均SSIM为0.889）。用ANN模拟了不同位置和方向的参考DN值分布，R²为0.962，RMSE为0.036。与ASD光谱仪测量的真实值相比，校正后不同叶位的光谱反射率的平均RMSE下降了78.0%，相同叶位的多视角光谱反射率曲线之间的平均欧氏距离极差减少了60.7%。所提出的植物三维多光谱点云的生成方法为近端植物表型准确分析提供了关键技术。

图1 校正前后的植物多光谱图像对比和三维多光谱点云可视化 (波长为740.7nm)

图2 不同叶位校正前后的多光谱反射率曲线对比

浙江大学生物系统工程与食品科学学院博士研究生谢鹏尧为第一作者，岑海燕教授为本文的通讯作者。相关工作得到国家重点研发计划项目、浙江省重点研发计划项目以及浙江大学国际合作专项的资助。

论文链接：

http://doi.org/10.34133/plantphenomic‍s.0040

——推荐阅读——

Benchmarking Self-Supervised Contrastive Learning Methods for Image-Based Plant Phenotyping

http://doi.org/10.34133/plantphenomics.0037

Plant Phenomics | 基于图像的植物表型自监督对比学习方法的基准测试

Multispectral Drone Imagery and SRGAN for Rapid Phenotypic Mapping of Individual Chinese Cabbage Plants 

‍http://doi.org/10.34133/plantphenomics.0007

Plant Phenomics | 基于无人机多光谱图像和SRGAN的大白菜单株表型测定研究

加入作者交流群