[发明专利]一种基于多图像注意力特征融合的农作物虫害最优视角识别方法

权利要求书

1.一种基于多图像注意力特征融合的农作物虫害最优视角识别方法，其特征在于，包括如下过程：

通过已预训练好的识别模型对已获取的多张不同视角的虫害图像进行特征提取，得到每张虫害图像的特征向量；将所有虫害图像的特征向量通过多头自注意力和门机制自适应地选取，得到各个虫害图像的最优视角特征；对所有虫害图像的最优视角特征进行分类，并筛选出所述多张不同视角的虫害图像中虫害的类别。

2.根据权利要求1所述的一种基于多图像注意力特征融合的农作物虫害最优视角识别方法，其特征在于，所述识别模型采用卷积神经网络，该卷积神经网络上加载有该卷积神经网络在ImageNet上的预训练参数，该卷积神经网络在最后一个特征提取层之后、最后的分类层之前加入有注意力特征融合网络。

3.根据权利要求1所述的一种基于多图像注意力特征融合的农作物虫害最优视角识别方法，其特征在于，将所有虫害图像的特征向量通过多头自注意力和门机制自适应地选取，得到各个虫害图像的最优视角特征的过程包括：

将所有虫害图像的特征向量组合成一个输入矩阵；

利用所述输入矩阵以及查询参数矩阵、键参数矩阵和值参数矩阵得到查询矩阵、键矩阵和值矩阵；

通过查询矩阵和键矩阵计算注意力分数矩阵，将注意力分数矩阵经过softmax归一化后，乘以值矩阵得到注意力输出矩阵；

通过平行地设置每个头的查询参数矩阵、键参数矩阵和值参数矩阵，每个头的内部独立进行自注意力计算，得到相应的头输出；

将门机制作用于每个头输出的查询矩阵和键矩阵上，得到改进后的头输出；

将每个改进后的头输出拼接在一起，通过维度转换矩阵将拼接结果转换成与原输出相同维度的向量，得到每张虫害图像的特征向量。

4.根据权利要求3所述的一种基于多图像注意力特征融合的农作物虫害最优视角识别方法，其特征在于，每个头的内部独立进行自注意力计算，得到相应的头输出的过程包括：

对于每个头，将该头的查询矩阵和键矩阵线性映射到一个联合空间，然后进行逐元素相乘的融合操作，得到融合结果；

然后再对融合结果进行映射处理，再通过sigmoid激活函数对映射结果进行处理，得到查询掩码和键掩码；

将查询掩码与该头的查询矩阵逐元素相乘，将键掩码与该头的键矩阵K_i逐元素相乘，得到改进后的该头的输出。

5.根据权利要求4所述的一种基于多图像注意力特征融合的农作物虫害最优视角识别方法，其特征在于，对于第i个头，将该头的融合结果如下：

查询掩码和键掩码如下：

改进后的头的输出如下：

其中，n为输入图像数量，d_k为特征向量的维度，Q_i为第i个头的查询矩阵，K_i为第i个头的键矩阵，和为可学习的映射矩阵，和为偏置向量，σ()为激活函数，Attention()为注意力计算函数。

6.根据权利要求1所述的一种基于多图像注意力特征融合的农作物虫害最优视角识别方法，其特征在于，对所有虫害图像的最优视角特征进行分类，并筛选出所述多张不同视角的虫害图像中虫害的类别的过程包括：

对所有虫害图像的最优视角特征通过线性分类层进行分类，得到相应的预测结果，再运用多数投票策略，将对某类别投赞成票最多的作为这些虫害图像的最终预测结果，确定虫害图像中虫害的类别；

所述多张不同视角的虫害图像的数量不少于两张。

7.一种基于多图像注意力特征融合的农作物虫害最优视角识别系统，其特征在于，包括：

计算单元：用于通过已预训练好的识别模型对已获取的多张不同视角的虫害图像进行特征提取，得到每张虫害图像的特征向量；将所有虫害图像的特征向量通过多头自注意力和门机制自适应地选取，得到各个虫害图像的最优视角特征；对所有虫害图像的最优视角特征进行分类，并筛选出所述多张不同视角的虫害图像中虫害的类别。