[发明专利]基于双重注意力机制的图像分类方法、系统及电子设备

权利要求书

1.一种基于双重注意力机制的图像分类方法，其特征在于，包括以下步骤：

步骤1：构建基于Transformer的空间维度自注意力网络和基于Transformer的特征图channel维度自注意力网络；

所述基于Transformer的空间维度自注意力网络，第一层是3个平行的卷积核是1×1步长为1的卷积操作，第二层是利用softmax+向量乘积，第三层是权重矩阵与特征图的乘积，第四层是权重特征图与原特征图相加，最后输出空间维度特征图；

所述基于Transformer的特征图channel维度自注意力网络，第一层是2个平行的卷积核是1×1步长为1的卷积操作，第二层是利用softmax+向量乘积，第三层是权重矩阵与特征图的乘积，第四层是权重特征图与原特征图相加，最后输出通道维度特征图；

步骤2：将输入图像Fm预处理后输入基于Transformer的空间维度自注意力网络，生成基于图像空间维度的注意力特征图；

对输入图像Fm进行预处理，获得浅层特征图Fm₁；采用自底向上和自顶向下相结合的方式，对浅层特征图Fm₁进行处理，生成中层特征图FA；将中层特征图FA输入至空间维度自注意力网络，生成基于图像空间维度的注意力特征图FE_P；

步骤3：将中层特征图FA输入基于Transformer的特征图channel维度自注意力网络，生成基于特征图通道维度的注意力特征图FE_c；

步骤4：将步骤2得到的特征图FE_P和步骤3得到的特征图FE_c进行对应维度上的元素相加，得到最后的输出特征图FM_ap；将特征图FM_ap放入全连接层进行线性映射，生成维度为nmu×1的向量，其中nmu为图像类别的个数，选取向量维度中数值最大的维度对应的类别作为该图像的最终分类结果。

2.根据权利要求1所述的基于双重注意力机制的图像分类方法，其特征在于，步骤2中所述对输入图像Fm进行预处理，获得浅层特征图Fm₁；其具体实现包括以下子步骤：

步骤2.1：对于任意输入图像Fm，定义并进行残差块操作res()；

res(Fm)＝Fm+conv(Fm) (1)；

其中conv(Fm)是步长为1，卷积核是3×3，维持输出特征图维度不变的卷积操作，res(Fm)即是残差块的输出；

步骤2.2：针对已知的训练样本集Train＝{S_i}^Nt_i＝1，S_i＝(img_i，l_i)，其中S_i表示第i个训练样本，img_i是该样本的图像，l_i是该样本的分类标签，N_t是样本总数目；将{img_i}输入至步骤1中残差块，将输出的特征图再次输入至残差块，输出浅层特征图Fm₁。