[发明专利]一种基于多通道注意力区域扩展的实例检索方法

权利要求书

1.一种基于多通道注意力区域扩展的实例检索方法，其特征在于包括以下步骤：

1)设计一个实例检索模型，所述实例检索模型包括注意力区域扩展模块、多分支联合训练模块、前向传播深度网络；所述前向传播深度网络用于处理输入图像，生成对应类激活图并进行特征提取；所述注意力区域扩展模块作为独立模块嵌入卷积层，生成类激活图实现实例定位；所述多分支联合训练模块嵌入网络中间层，用于丰富中间层特征，提取具有判别性实例特征；实例检索模型将图片作为输入，输出图片中检测到的实例的定位信息及对应的特征，参与后续的检索部分；

所述设计一个实例检索模型的具体方法为：

(1)采用深度学习技术中流行的残差网络；该网络全连接层之前的全卷积结构作为卷积神经网络骨架；在第3个卷积组和第4个卷积组后嵌入注意力区域扩展模块，选择第3个卷积组输出与第4个卷积组输出共同参与联合训练；使用ImageNet数据集预训练的残差网络权重，利用Microsoft COCO 2014以及CUB-200-2011作为训练集，仅依靠图像类别标签作为监督信息微调网络；

(2)在网络的训练阶段，对于每张输入图像，首先经过一个添加了多通道注意力区域扩展模块的基准网络进行处理，基准网络包含4个卷积组，在网络的第3和第4个卷积组后分别添加了一个多通道注意力区域扩展模块，对于这两个多通道注意力区域扩展模块的输出特征图，分别经过一个全局平均池化层和全连接层，两个分支并行联合训练，最后的输出损失进行组合后共同计算多分类损失，进行网络优化；随后，实例级别的特征提取在基于微调后的网络中进行；

(3)多通道注意力区域扩展模块在原始激活图的弱监督目标定位的基础上引入多通道，在弱监督目标定位的前后分别添加一个1×1的卷积层，用于对特征图进行降维和升维；对于弱监督目标定位前的卷积层从输入通道数降维到与训练数据集的目标类别数一致，对于弱监督目标定位后的卷积层从目标类别数升维到原始输入通道数；使输入的每个特征图都对应表示一个类别，每个特征图分别经过弱监督目标定位，从而激活不同的类别实例；

(4)考虑特征判别性问题，利用多分支联合训练的方式以丰富中间层的特征信息；多分支联合训练为将第3个卷积组的输出连接一个全局平均池化层和一个全连接层，与原始的网络输出共同送入损失层，参与损失函数的计算；损失函数的计算如下：

其中，α表示权重参数；和分别表示第3个卷积组分支和第4个卷积组分支的损失函数，计算如下：

其中，x[i]^convl表示第l个卷积组分支的第i个预测，y[i]表示正确的第i个标签，C表示类别总数，log表示对数函数，exp表示以自然常数e为底的指数函数；

(5)图像经过网络处理后，选择其中第3个卷积组的输出，利用CAM的方法生成类激活图，根据类激活图，利用OpenCV中查找轮廓的函数提取类激活图中高亮区域的最小外接矩形作为候选框；为了获得统一维度的实例特征，对每个候选框利用ROI池化操作提取特征；

2)图像预处理：对于给定的图像数据库，将数据库当中的每张图片都分别经过步骤1)，提取图像中实例位置及其对应实例级别特征，保存后以备后续检索使用；

3)实例检索：对于每张查询图片，经过网络前向传播进行处理，用给定的查询实例的区域代替原始类激活图生成矩形区域，在对应区域进行实例级别特征提取；再将该实例特征与实例检索模型在数据库图片上所提取出的所有实例级特征进行相似度对比，每张数据库图片中对应的相似度最高的区域即为该图上实例检索的结果，该区域对应的相似度即为该图的相似度；数据库所有图片按照相似度从高到低依次排列，得到整个数据库上的实例检索的结果。