[发明专利]一种图像特征金字塔的自适应加权融合方法

权利要求书

1.一种图像特征金字塔的自适应加权融合方法，其特征在于包括如下步骤：

步骤(1)首先在计算机视觉有名的超大规模数据库ImageNet上预训练神经网络模型，数据库ImageNet包含超过1400万张图像，涵盖20000个类别；

步骤(2)将二次训练用的训练集数据输入预训练神经网络模型；

步骤(3)针对训练集中的目标检测任务，重复步骤(4)到(8)继续训练神经网络模型，直至网络能够准确的检测训练集中的图片；

步骤(4)使用步骤(1)预训练后的神经网络模型提取图片的特征图；

步骤(5)把获得的特征图按分辨率建立特征图金字塔模型；

步骤(6)计算每一层特征图在整个金字塔模型中的重要程度；

步骤(7)根据特征图在金字塔模型中的重要程度，对每一层特征图分配不同的权重；

步骤(8)对特征图按照所分配的权重进行融合，然后进行检测。

2.根据权利要求1所述的图像特征金字塔的自适应加权融合方法，其特征在于所述的神经网络模型采用的是深度残差网络ResnetNet-101，具体实现如下：

2-1.深度残差网络ResnetNet-101是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率；深度残差网络ResnetNet-101包含4组残差块，共101层卷积层；

2-2.深度残差网络ResnetNet-101中卷积计算使用卷积公式：

其中kernel_size表示使用的卷积核大小，pad表示边缘填充位数，stride表示卷积核每次移动位数；深度残差网络ResnetNet-101中使用kernel_size＝3,pad＝1,stride＝2,根据公式可知conv层不会改变图片大小；

2-3.每个卷积层后的激活层负责将前一个卷积层的输出映射到后一个卷积层的输入；

2-4.将每组残差块的最后一个卷积层的输出通过激活层映射到两个池化层，池化层最终输出特征图；其中，池化层中kernel_size＝2，stride＝2，池化层会让输出图片是输入图片的1/2；

2-5.经过步骤2-2到2-4的特征提取后，图片大小会随着卷积次数的增多而变小，且特征图的数目会随着使用卷积核的数目变化，将所得的不同分别率的特征图组建初步特征图金字塔。

3.根据权利要求2所述的图像特征金字塔的自适应加权融合方法，所述的步骤(4)使用步骤(1)预训练后的神经网络模型提取图片的特征图；其特征在于具体实现如下：

由深度残差网络ResnetNet-101创建初步特征图金字塔中，自下而上的使用该组特征图C2、C3、C4和C5；特征图C2、C3、C4和C5重新构建特征图金字塔Ⅰ；特征图C2、C3、C4和C5分别对应于深度残差网络ResnetNet-101中conv2、conv3、conv4和conv5层输出的特征图；相对于输入图像，特征图C2、C3、C4和C5通过因子4、8、16和32下采样。

4.根据权利要求3所述的图像特征金字塔的自适应加权融合方法步骤(5)把获得的特征图按分辨率建立特征图金字塔模型，其特征在于具体实现如下：

对特征图金字塔Ⅰ自上而下通过上采样的路径，生成一组特征图P5、P4、P3和P2；特征图P5、P4、P3和P2重新构建特征图金字塔Ⅱ；使用每层2个上采样的因子，自上而下路径的该组特征图P5、P4、P3和P2与自下而上路径的特征图C2、C3、C4和C5相同。

5.根据权利要求4所述的图像特征金字塔的自适应加权融合方法，其特征在于步骤(6)(7)具体实现如下：

第i层融合特征图的元素由下式计算：

其中，C_i表示特征图金字塔Ⅰ中第i层的特征图；P_i+1表示特征图金字塔Ⅱ中第i+1层的特征图；和分别表示第i层特征图在特征图金字塔Ⅰ和特征图金字塔Ⅱ中的权重；i的取值为2,3,4；

权重和由特征图C2、C3、C4和C5通过以下Softmax函数确定：

其中，Softmax函数的目的是将矩阵的乘积映射到(0,1)的值；n取值为2,3,4,5。

6.根据权利要求5所述的图像特征金字塔的自适应加权融合方法,其特征在于步骤(8)对特征图按照所分配的权重进行融合，然后进行检测，具体实现如下：

针对第i层特征图根据特征图金字塔Ⅰ和特征图金字塔Ⅱ中的相应权重进行融合；将融合后的特征图输入步骤(1)预训练好的神经网络模型进行检测和定位；使用神经网络模型中的分类器检测获得融合后的特征图被识别为某一特定类别的概率，然后对于属于某一类别的候选框，用神经网络模型中的定位器进一步获得目标的坐标位置。