[发明专利]一种基于高光谱图像的大豆病虫害识别方法和装置

权利要求书

1.一种基于高光谱图像的大豆病虫害识别方法，其特征在于，包括以下步骤：

步骤一，利用无人机搭载的高光谱相机与RGB相机在不同高度拍摄高光谱图像及其对应的RGB图像，得到采集的高光谱数据集及其对应的RGB数据集；

步骤二，基于开源RGB数据集对步骤一采集的高光谱数据集进行数据增广；

步骤三，对开源RGB数据集和采集的RGB数据集中的图像进行植株区域分割，得到掩膜图像，将掩膜图像与对应的高光谱图像进行像素点相乘得到含植株区域的图像，再进行预处理计算出各类别平均光谱特性曲线；

步骤四，将数据增广后的高光谱数据集输入大豆病虫害识别网络模型，采用课程学习方式以及步骤三得到的各类别平均光谱特性曲线进行模型训练，得到训练好的大豆病虫害识别网络模型；

所述大豆病虫害识别网络模型以Transformer为主干网络，包括光谱特性曲线提取模块和分类预测模块；所述光谱特性曲线提取模块用于提取大豆植株区域图像的光谱特性曲线，之后与同类别的平均光谱特性曲线计算损失函数；所述分类预测模块对提取到的光谱特性曲线进行分类；

所述课程学习方式为在迭代训练过程中逐步提升难训练的损失函数权重，具体表达式为：

其中，均是课程学习的权重；、 分别为初始权重、当前的迭代次数、总迭代次数；分别为分类损失函数、负皮尔森相关性系数、时域及频域损失函数；其中，为计算当前高光谱图像的光谱特性曲线与对应类别的平均光谱特性曲线的皮尔森相关性系数并取负值；的计算则通过分别对当前高光谱图像的光谱特性曲线与对应类别的平均光谱特性曲线先取傅里叶变换的频谱，然后对两个频谱取平均绝对误差；

步骤五，采用训练好的大豆病虫害识别网络模型，对采集输入的高光谱图像进行预测分类，输出最终预测的虫害类别。

2.如权利要求1所述的一种基于高光谱图像的大豆病虫害识别方法，其特征在于，所述步骤二，具体包括以下子步骤：

步骤2.1，加载已经在开源RGB数据集上训练完成的高光谱图像重建网络，所述高光谱图像重建网络采用MST++算法；

步骤2.2，将网上收集到的大豆植株RGB图像输入到加载完成的高光谱图像重建网络中，得到重建生成的对应的高光谱图像并保存，即得到生成的高光谱数据集，并将生成的高光谱数据集合并至由无人机采集的高光谱数据集中，记为总的高光谱数据集，数据集的标签按照类别数分别是 ，其中，为类别数，表示有类图像数据；

步骤2.3，对总的高光谱数据集中所有的高光谱图像及对应的RGB图像进行随机翻转和裁剪。

3.如权利要求2所述的一种基于高光谱图像的大豆病虫害识别方法，其特征在于，所述步骤三，具体包括以下子步骤：

步骤3.1，应用现有的开源图像分割算法对每一张RGB图像进行大豆植株区域分割，得到大豆植株区域的Mask掩膜图像；

步骤3.2，将得到的Mask掩膜图像与对应的高光谱图像的每一光谱频段的图像进行像素点的相乘，得到高光谱图像中只含有大豆植株区域的图像；

步骤3.3，然后对只含有大豆植株区域的图像进行归一化，表达式为：

其中，为输入图像即输入的只含有大豆区域的图像；为输出的归一化后的图像；分别为输入图像中最大的像素值与最小的像素值；

在进行归一化之后将图像尺寸缩小至 ，w为宽，h为高；

步骤3.4，分别统计每个类别中尺寸缩小后的图像的光谱特性曲线，得到各类别平均光谱特性曲线。

4.如权利要求3所述的一种基于高光谱图像的大豆病虫害识别方法，其特征在于，所述步骤3.4具体为：计算尺寸缩小后的图像的每个频谱波段的平均像素值，以此类推，计算所有的频谱波段平均像素值，最终按顺序排列出该图像的光谱特性曲线；之后，分别计算每一类中所有的光谱特性曲线，并对所有的光谱特性曲线取平均值，最终得到个平均光谱特性曲线。

5.一种基于高光谱图像的大豆病虫害识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1至4中任一项所述的基于高光谱图像的大豆病虫害识别方法。

6.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1至4中任一项所述的基于高光谱图像的大豆病虫害识别方法。