[发明专利]基于VLAD卷积模块的图像信息强化方法

说明书

本发明涉及数字图像处理技术领域，提出一种基于VLAD卷积模块的图像信息强化方法，包括以下步骤：初始化VLAD卷积模块参数；将通道数为D的中间特征图输入VLAD卷积模块，中间特征图进行压缩得到压缩特征图；中间特征图进行一次卷积操作，通过softmax函数归一化得到输出权重；将输出权重进行各自求和，保留求和结果较大的输出权重；将聚类中心与中间特征图中的特征向量进行差值运算，得到每个通道的残差；将输出权重关于每个通道的残差中对应的元素相乘后进行累加，得到固定向量；将固定向量进行softmax函数归一化得到鉴别特征，将鉴别特征与压缩特征图进行逐通道相乘，输出完成信息强化的特征图。本发明能够强化特征图的有用信息，具有计算量小的特点。

技术领域

本发明涉及数字图像处理技术领域，更具体地，涉及一种基于VLAD卷积模块的图像信息强化方法。

背景技术

卷积神经网络(CNN)是常用于计算机视觉任务上的实用模型，为了提高卷积神经网络的性能，最近的实验工作主要研究对于在深度神经网络的中间层分支进行深度融合，产生潜在可以共享有用信息的基础网络，从而优化信息流动，提升深度神经网络的性能。

对此研究者提出残差注意力网络，综合了ResNeXt和Inception的方法，通过bottom-up top-down的形式构建旁路，通过一系列的卷积层与池化操作，逐渐提取特征图中的高级特征并增大模型的感受域，由于高层特征中所激活的特征值能够反映注意力所在的区域，于是再通过相同数量的up sample将特征图的尺寸放大到原来的输入大小，再与干路特征结合，能够增强干路上特征图中有用信息的权重。然而该方法对特征图的信息强化结果仍不能满足现有的需求，且该方法中的基础网络的两路都是以3D形式进行数据流动，对此基础网络参数将会相应地增加，而以此构建的深度神经网络的训练时间与能耗会相应地大量增加。

Jegou et al.在2010年提出一种局部聚合描述子向量(Vector of LocallyAggregated Descriptors，VLAD)卷积模块，一般用于将图像的局部描述进行聚合操作，然后通过一个长向量来表征一副图像，主要应用于图像检索领域。然而现有技术中采用VLAD卷积模块的图像特征检索中由于图像特征的检索结果主要依赖于聚类中心，因此存在不稳定性，无法确保能够精确检索图像特征从而进行强化。

发明内容

本发明为克服上述现有技术所述的图像信息强化的结果不能满足需求等缺陷，提供一种基于VLAD卷积模块的图像信息强化方法。

为解决上述技术问题，本发明的技术方案如下：

基于VLAD卷积模块的图像信息强化方法，包括以下步骤：

S1、初始化VLAD卷积模块参数，设定VLAD卷积模块中的K个D维的聚类中心和K+G个卷积核，其中，D、K、G为正整数；

S2、将通道数为D的中间特征图输入VLAD卷积模块后分别进行以下操作：中间特征图进行压缩得到大小为K，通道数为D的压缩特征图；中间特征图进行一次卷积操作，并通过归一化指数函数(softmax函数)进行归一化处理，得到K+G个输出权重；

S3、将K+G个输出权重进行各自求和，保留求和结果较大的K个输出权重；

S4、将聚类中心分别与中间特征图中的特征向量进行差值运算，得到每个通道的残差；

S5、将S3步骤保留的K个输出权重与每个通道的残差中对应的元素相乘，再将各通道的所有差值进行累加，得到K个固定向量；

S6、将固定向量通过softmax函数进行归一化处理，得到鉴别特征；

S7、将鉴别特征与压缩特征图进行逐通道相乘，输出的特征图即为完成信息强化的图像。