[发明专利]用于卷积神经网络的注意力权重模块和方法

说明书

本申请公开了一种用于卷积神经网络的注意力权重模块和方法。该注意力权重模块包括：提取单元，被配置为从输入至卷积神经网络的特征图中提取特征向量；生成单元，被配置为将特征向量馈送至完全连接层，以生成注意力向量；权重分配单元，被配置为基于注意力向量将权重分配至特征图。本发明的注意权重块可以通过同时考虑空间注意权重和通道关系权重来提取更多语义信息，从而卷积神经网络可以具有更强大的表达能力。

技术领域

本发明涉及图像处理领域。具体地，本发明涉及注意力权重模块和方法。

背景技术

近年来，深度神经网络(深度学习)在模式识别领域得到了大量应用，并取得了许多突破性成果，例如，利用深度神经网络实现目标检测、人脸识别、语义分割等。这些成果的取得与深度神经网络能够学习具有强表达能力的特征(图像的表示方法)息息相关。与传统的手工提取特征的方法相比，手工方法通过引入专家知识提取图像的底层(low-level)特征，而深度神经网络依靠数据驱动，能够学习图像的层级式的特征，包含了丰富的底层(low-level)，中层(mid-level)，和高层(high-level)特征。这种工作方式类似于人类的视觉系统，因而，在识别效果上要优于手工方法。

人工视觉系统中，越来越多的研究关注于卷积神经网络中的注意力机制。人类注意力机制的研究表明，人类视觉系统可以快速索引图像中的重要区域，这一机制在信息处理方面显得极为重要，可以高效地应对繁杂的信息。受到这个启发，注意力机制已经嵌入到深度神经网络结构中。现阶段，已经有一些方案试图将注意力机制引入到卷积神经网络中，这些方案大致分为以下两类：

1)注意力机制应用于特征图空间维度：人类视觉会关注于图像中的重点区域，忽略图像中不重要的部分。与处理整张图像信息相比，在训练过程中精细处理图像中某一区域的图像信息，计算量及训练检测时间都会显著减少，在图像处理方面可获得特定区域的更多信息，网络模型泛化能力增强。

2)注意力机制应用于特征图通道维度：卷积神经网络中最重要的部分就是卷积操作，卷积核在空间维度和通道维度提取图像特征，将注意力机制应用于通道维度以寻找通道之间的内在联系，可以显著提高卷积神经网络的特征提取性能。

例如，在将注意力机制引入到卷积神经网络中的现有技术中，提出了RAN(Residual Attention Network for Image Classification，图像分类的残留注意力网络)：这种方法是通过堆叠生成注意意识特征的注意力模块来构建的。在每个注意模块内，使用自下而上、自上而下的前馈结构来展开前馈并将空间注意过程反馈到单个前馈过程中。该技术的不足之处在于：(1)RAN忽略了各个通道之间关系的重要性，并平等对待每个特征图。(2)RAN在没有其他计算机视觉任务的情况下对分类任务进行实验。

图1示出了将注意力机制引入到卷积神经网络中的一种现有技术的示例。应用注意力机制于卷积神经网络中的空间维度，可以提取感兴趣区域，获取更好的检测效果。STN(Spatial Transformer Networks)使卷积神经网络的深层结构具有空间不变性(平移不变性和旋转不变性)，极大的增强了网络的泛化能力。STN引进了一种可学习的采样模块，即，空间变换器(Spatial Transformer)，其在不需要引入额外的数据标签的情况下实现了在网络中对特征图进行空间变换操作。此模块可插入到现有卷积神经网络模型中，使得特征图具有空间变换能力，动态变化特征图的感受野，使得整个网络的空间不变性增强。如图1所示，为STN中最重要的空间变换器的结构，其中θ表示一个回归自网络，T_θ表示以参数θ为变换矩阵的某种变换。网络通过训练空间变换器参数，学习U特定区域的空间变化，然后输出V。其本质是对特征图的空间域的注意力(attention)，使模型获取更好的空间不变性。

尽管STN在特征图空间域上对图像进行处理，具有对图像内容空间变化一定的鲁棒性，但是STN忽略了图像特征图通道域之间的相关关系，孤立的等同每个通道域特征图对卷积神经网络所起到的作用，失去了网络一定的泛化能力。