[发明专利]一种基于注意力机制的卷积神经网络构建方法及应用

说明书

本发明公开一种基于注意力机制的卷积神经网络构建方法及应用，包括用于对图像进行预处理的基本卷积操作层，用于提取图像浅层显著特征的注意力机制层1，用于提取图像深层显著特征的注意力机制层2，用于提取图像最深层显著特征的注意力机制层3，用于将注意力机制层3中的2维输出数据捋平为1维的两个全连接层，以及SoftMax分类器。本发明将注意力机制融合进卷积神经网络中，有效的促进了卷积神经网络提取有效的信息从而提高网络性能，提升网络收敛效率和精度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于注意力机制的卷积神经网络构建方法及该卷积神经网络在图像分类方面的应用。

背景技术

视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

现代计算机视觉的典型的框架之一卷积神经网络近年来被广泛应用于图像处理领域。其主要应用之一则是模式识别和图像分类，现阶段，如何提高卷积神经网络的效率和识别率是两个亟需解决的问题。从卷积神经网络的提出开始，很多科研工作者对其进行了研究并提出改进措施。卷积神经网络的基本结构由输入层、卷积层、池化层、全连接层及输出层。其中最核心的是与卷积层相关的卷积操作和与池化层相关的池化操作。本专利从卷积神经网络的特点出发，提出了一种改进的神经网络模型，实验结果表示，该方法较传统的卷积网络而言，具有收敛速度更快，精确度更高的优点。

发明内容

针对现有卷积神经网络在图像识别效率和识别率低的问题，本发明提出了一种基于注意力机制的卷积神经网络构建方法及其在图像识别上的应用。

本发明所采用的技术方案包括以下步骤：

步骤1，建立用于对图像进行预处理的基本卷积操作层，包括2个卷积层和2个池化层，其中卷积层和池化层相间隔；

步骤2，构造用于提取图像浅层显著特征的注意力机制层1，包括两个相互连接的包含注意力机制的神经网络模块和池化层；

步骤3，构造用于提取图像深层显著特征的注意力机制层2，包括五个相互连接的包含注意力机制的神经网络模块和池化层；

步骤4，构造用于提取图像最深层显著特征的注意力机制层3，包括两个相互连接的包含注意力机制的神经网络模块和池化层；

步骤5，建立用于将注意力机制层3中的2维输出数据捋平为1维的两个全连接层；

步骤6，选取SoftMax分类器。

进一步的，所述包含注意力机制的神经网络模块的构建方式如下，

1)输入x与n₁个1X1的卷积核进行卷积得到n₁个特征图(map1-n₁)；

2)输入x与n₂个1X1的卷积核进行卷积得到n₂个特征图(map1-n₂)，然后map1-n₂与n₃个3X3的卷积核进行卷积得到n₃个特征图map1-n3；

3)输入x与n₄个1X1的卷积核进行卷积得到n₄个特征图(map1-n₄)，然后map1-n₄与n₅个3X3的卷积核进行卷积得到n₅个特征图map1-n₅；