[发明专利]基于差分注意力的深度学习、目标检测及语义分割方法

说明书

本发明涉及基于差分注意力的深度学习、目标检测及语义分割方法，包括步骤1，数据集处理：将数据变成深度学习神经网络需要的数据结构；步骤2，包括：2.1，搭建传统的卷积神经网络；2.2模型改进：在卷积后添加一个差分注意力模块，所述差分注意力模块用于分别关注图片宽方向和高方向的变化；步骤3，模型训练，得基于差分注意力机制的卷积神经网络。本发明克服现有注意力算法只利用当前特征的缺点，将差分算法应用于注意力算法，从而让神经网络对图像或特征图的变化特征、纹理特征以及边缘特征更加敏感，有利于神经网络模型在目标检测、图像分割、抠图等领域的表达能力；同时，相对于其他注意力算法，本发明只是增加了少量的运算，非常利于实现。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于差分注意力的深度学习、目标检测及语义分割方法。

背景技术

视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源。

注意力机制的本质就是定位到感兴趣的信息，抑制无用信息，结果通常都是以概率图或者概率特征向量的形式展示，从原理上来说，主要分为空间注意力模型、通道注意力模型以及空间与通道混合注意力模型三种。

其中，空间注意力的本质就是在特征图上通过一系列操作或者变化对每一个元素生成一个乘性权重，从而定位目标在空间中的位置。比较著名的空间注意力算法有STN等。

而通道注意力机制就是在正常的卷积操作后分出了一个旁路分支，首先进行Squeeze操作(比如，针对特征图的平均等)，将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变。得到每一个特征通道的权重之后，就将该权重应用于原来的每个特征通道，基于特定的任务，就可以学习到不同通道的重要性。

空间与通道混合的注意力机制，如CBAM等主要是采取不同的方式将空间注意力算法生成的权重和通道注意力生成的权重进行融合。

目前，在计算机视觉中应用最多的自注意力算法为SEnet、SKnet、CBAM、STN和DCAnet。注意力机制算法要么学习通道之间的关联，要么学习每个张量元素之间的关联，从而增加模型在通道或张量元素的长程相关性或整体相关性。

尽管，自注意力机制已在许多视觉任务中显示出不错的性能，但这些只考虑当前的特征，对差分信息或其他变化信息捕捉能力较差。因此，应用这些注意力算法的网络也会在边缘特征或其他变化特征上表现不足。

发明内容

本发明为了解决上述技术问题提供基于差分注意力的深度学习方法。

本发明通过下述技术方案实现：

基于差分注意力的深度学习方法，包括以下步骤：

步骤1，数据集处理：将数据变成深度学习神经网络需要的数据结构；

步骤2，构造基于差分注意力机制的深度学习神经网络，包括：

2.1，搭建传统的卷积神经网络；

2.2模型改进：在卷积后添加一个差分注意力模块，所述差分注意力模块用于分别关注图片宽方向和高方向的变化；

步骤3，模型训练，得基于差分注意力机制的卷积神经网络。

其中，所述差分注意力模块作用于卷积生成的高维张量。

进一步的，所述差分注意力模块分为第一分支和第二分支，第一分支关注宽方向的变化，第二分支关注高方向的变化。

进一步的，差分注意力模块的工作机制为：

S1，两个分支同时对张量进行处理：

所述第一分支包括以下步骤：