[发明专利]一种基于多层卷积特征融合的图像协同显著性检测方法

权利要求书

1.一种基于多层卷积特征融合的图像协同显著性检测方法，其特征在于，具体步骤如下：

(1)、对Cosal2015，PASCAL-VOC，Coseg-Rep三个用作协同显著性检测的数据集进行处理，包括将输入图像I、标签G的尺寸统一化，以及按照顺次选择规则确定与输入图像I一同输入的其他四张图像即输入图像I的协同图像组，一张输入图像能够确定多组协同图像组，原始的三个数据集经过处理后产生多组输入图像及其协同图像组；

(2)、构建一个能够实现协同显著对象检测的端到端的深度学习网络：输入图像I与它的一个协同图像组同时作为整个网络的输入，经过多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，得到输入图像I的协同显著性图S_co，作为整个网络的输出；

(3)、将步骤(1)中处理好的三个协同数据集及其对应的标签，输入步骤(2)构建的深度学习网络中进行训练，提取多层卷积特征的部分采用五个具有相同参数、权值共享的CNN分支VGG16_1、VGG16_2、VGG16_3、VGG16_4、VGG16_5，整个网络的训练在图像分类网络VGG16训练好的模型基础上进行微调，损失函数为适合回归任务的softmax损失函数，采用随机梯度下降算法来最小化损失函数直到网络收敛，网络训练在基础学习速率为10^-8且每迭代5万次乘以0.1、bitchsize为8的情况下迭代25万次后得到了一个收敛的网络模型；

(4)、利用步骤(3)训练好的网络模型进行测试，测试集包括iCoseg和MSRC两个协同显著性检测的通用数据集，对于要测试的输入图像I，按照步骤(1)的顺次选择规则在同组内确定协同图像组，由于一张输入图像I能够选定多组协同图像组，测试时将输入图像I选定的多组协同图像组分别输入网络，得到这张输入图像I的多张协同显著性图S_co，再相加平均得到最终的协同显著性图S_final；

所述步骤(1)中的顺次选择规则，具体步骤如下：

(1-1)、对于输入图像I，与它属于同一个图像组的其他所有图像都成为候选图像，这些候选图像组成这张输入图像I的候选图像组，候选图像组按照文件名称或其他原则确定一个固定的排列顺序；

(1-2)、在输入图像I的候选图像组中随机确定一张图像为起点，再顺次选择四张图像，成为输入图像I的第一组协同图像组；

(1-3)、将步骤(1-2)确定的图像起点后移两个位置，作为新的起点，再次顺次选择四张图像，成为输入图像I的第二组协同图像组，就像这样，不断地将起点后移两个位置，直到候选图像组的所有图像都被选择过，就确定了多组输入图像I的协同图像组；

(1-4)、如果候选图像组的图像个数为奇数，按照步骤(1-3)后移到最后一个起点位置，顺次选择时只有三张图像，在这种情况下，用步骤(1-2)的第一张起点图像来补齐四张图像；

所述步骤(2)中的产生输入图像I的协同显著性图S_co所经历的多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，具体步骤如下：

(2-1)、多层卷积特征提取：输入图像I与它的一组协同图像组同时输入VGG16网络，分别提取五张图像经过VGG16网络的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3五个卷积层输出的特征图；

(2-2)、协同特征提取：将步骤(2-1)中提取到的五张图像的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图分别串联融合，产生这五张图像的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层协同特征图，再将这五层协同特征图分别与输入图像I的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图串联融合，得到兼具有协同信息和原始信息的输入图像I的conv1_2、conv2_2、conv3_3、conv4_3和conv5_3层特征图；

(2-3)、多尺度特征融合：步骤(2-2)最后得到的五层卷积特征图属于不同的尺度，将这五层卷积特征图分别通过卷积或者反卷积操作得到16×16、32×32、64×64、128×128和256×256五个不同的尺度，在每个尺度下，五层卷积特征图串联融合，再分别经过卷积层或反卷积层恢复到输入图像I的尺度，得到五张初始的协同显著性图；

(2-4)、多尺度显著性图融合：将步骤(2-3)得到的五张初始的协同显著性图串联融合，经过三层卷积层的处理，得到输入图像I的协同显著性图S_co。