[发明专利]基于双重注意力机制的图像分类方法、系统及电子设备

说明书

本发明公开了一种基于双重注意力机制的图像分类方法、系统及电子设备，利用改进的自注意力模型，同时计算特征图空间维度和特征图通道维度的注意力权重，然后将两种注意力机制生成的特征图相加，完成端对端的图像分类网络构建，提升网络对显著区域的自适应感知能力，实现更加精准鲁棒的图像特征表达，进而提升图像分类性能。

技术领域

本发明属于图像处理技术领域，涉及一种图像分类方法、系统及电子设备，具体涉及一种基于双重注意力机制的图像分类方法、系统及电子设备。

背景技术

自深度学习诞生至今，相关技术，特别是深度卷积网络相关的技术为计算机视觉领域带来了巨大的变革与影响，基于深度卷积网络的图像分类方法已经成为了当前研究的主流方法。但此类方法也存在以下不足：

(1)过度依赖训练数据。图像的特征表达是基于深度卷积网络的图像分类方法的核心内容，而准确鲁棒的特征获取很大程度上取决于网络对海量数据的学习，数据的数量和质量将直接影响到特征空间的构建。

(2)卷积模式的局限性。卷积操作的实质是利用单一采样模式对特定区域进行滤波，尽管深度卷积网络能够通过多层和多模态卷积操作实现大尺度感受野内的特征表达，但其采样模式的单一性和邻接性限制了卷积网络对不同尺度特征的准确表达，同时也导致了最终生成的特征的局部表达在整体图像层面关联性较弱，无法较好地保证具有相似图像语义内容的局部特征具有相近的特征表达。

(3)特征图通道间的分类辨识度不同。深度卷积网络生成的特征图具有多个channel维度，不同维度的数据对图像的分类的贡献权重不尽相同，如何利用合理的模型计算贡献权重，也是改进基于深度卷积网络图像分类方法的重要途径。

发明内容

针对上述问题，本发明提出了一种基于双重注意力机制的图像分类方法、系统及电子设备。

本发明的方法所采用的技术方案是：一种基于双重注意力机制的图像分类方法，包括以下步骤：

步骤1：构建基于Transformer的空间维度自注意力网络和基于Transformer的特征图channel维度自注意力网络；

所述基于Transformer的空间维度自注意力网络，第一层是3个平行的卷积核是1×1步长为1的卷积操作，第二层是利用softmax+向量乘积，第三层是权重矩阵与特征图的乘积，第四层是权重特征图与原特征图相加，最后输出空间维度特征图；

所述基于Transformer的channel维度自注意力网络，第一层是2个平行的卷积核是1×1步长为1的卷积操作，第二层是利用softmax+向量乘积，第三层是权重矩阵与特征图的乘积，第四层是权重特征图与原特征图相加，最后输出通道维度特征图；

步骤2：将输入图像Fm预处理后输入基于Transformer的空间维度自注意力网络，生成基于图像空间维度的注意力特征图；

对输入图像Fm进行预处理，获得浅层特征图Fm₁；采用自底向上和自顶向下相结合的方式，对浅层特征图Fm₁进行处理，生成中层特征图FA；将中层特征图FA输入至空间维度自注意力网络，生成基于图像空间维度的注意力特征图FE_P；

步骤3：将中层特征图FA输入基于Transformer的特征图channel维度自注意力网络，生成基于特征图通道维度的注意力特征图FE_c；

步骤4：将步骤2得到的特征图FE_P和步骤3得到的特征图FE_c进行对应维度上的元素相加，得到最后的输出特征图FM_ap；将特征图FM_ap放入全连接层进行线性映射，生成维度为nmu×1的向量，其中nmu为图像类别的个数，选取向量维度中数值最大的维度对应的类别作为该图像的最终分类结果。