[发明专利]一种基于注意力机制的图像分类方法

权利要求书

1.一种基于注意力机制的图像分类方法，其特征在于，

包括：基于离散余弦变换对特征图每个通道进行频率分解，得到多个频率分量，用多个所述频率分量联合表示通道全局信息；

基于通道全局信息计算通道注意力权重信息，对特征图各通道基于权重信息加权得到通道注意力机制；

基于自注意力机制计算特征图每个像素的空间注意力权重，再对特征图各空间像素加权求和，以得到空间注意力机制；

将通道注意力机制和空间注意力机制嵌入到ResNet，得到图像分类卷积神经网络，并对所述图像分类卷积神经网络进行训练。

2.如权利要求1所述的一种基于注意力机制的图像分类方法，其特征在于，

所述基于离散余弦变换对特征图每个通道进行频率分解，得到多个频率分量，用多个所述频率分量联合表示通道全局的具体步骤是：

对特征图的每个通道计算二维离散余弦变换，得到多个频率分量；

选择3个频率分量拼接成向量。

3.如权利要求2所述的一种基于注意力机制的图像分类方法，其特征在于，

所述基于通道全局信息计算通道注意力权重信息，对特征图各通道基于权重信息加权得到通道注意力机制的具体步骤是：

用一维卷积对所述向量进行降维；

对一维卷积得到的向量使用全连接层再进行一次降维；

将全连接层降维后的向量经过非线性激活函数处理；

将非线性激活函数输出的向量再经过一层全连接层升维成与特征图通道数相同的维数并使用sigmoid函数归一化，得到通道注意力分布；

根据通道注意力分布对特征图进行加权，得到通道注意力模块的输出。

4.如权利要求1所述的一种基于注意力机制的图像分类方法，其特征在于，

所述基于自注意力机制计算特征图每个像素的空间注意力权重，再对特征图各空间像素加权求和，以得到空间注意力机制的具体步骤是：

对特征图的每个像素计算query、key和value三个向量；

遍历输入特征图的每个像素，计算每个query向量与输入特征图所有像素的key向量之间的相关性，得到相关性分布图；

基于相关性分布图对输入特征图所有像素的value向量进行加权求和，得到输出特征图中对应位置处的像素值。

5.如权利要求4所述的一种基于注意力机制的图像分类方法，其特征在于，

所述query是查询向量，代表与学习任务相关的信息，所述key是键向量，代表像素本身的属性，所述value是值向量，代表像素的特征表示。

6.如权利要求1所述的一种基于注意力机制的图像分类方法，其特征在于，

所述将通道注意力机制和空间注意力机制嵌入到ResNet，得到图像分类卷积神经网络，并对所述图像分类卷积神经网络进行训练的具体步骤是：

将通道注意力嵌入到网络的浅层结构块组：conv2_x，conv3_x，conv4_x，将空间注意力嵌入到网络的深层结构块组：conv5_x；

通道注意力接在残差块的卷积模块后面，而空间注意力则替换残差块的卷积模块中的3×3卷积层，得到图像分类卷积神经网络；

对所述图像分类卷积神经网络进行训练。