[发明专利]一种基于多层卷积特征融合的图像协同显著性检测方法

摘要

本发明公开了一种基于多层卷积特征融合的图像协同显著性检测方法。具体步骤为：(1)、对图像数据集进行处理，包括统一尺寸，以及按照顺序选择规则为每张图像选定协同图像组；(2)、构建协同显著性检测的深度学习网络，输入图像及其协同图像组经过多层卷积特征提取、协同特征提取、多尺度特征融合和多尺度显著性图融合，得到输入图像协同显著性图；(3)、将(1)中处理好的训练数据输入(2)中构建的深度学习网络进行训练，直到网络收敛得到一个训练好的网络模型；(4)、利用(3)中训练好的网络模型对测试数据集进行实验，一张输入图像与它的多组协同图像组可以得到多张协同显著性图，将它们相加平均后，得到这张的输入图像最终的协同显著性图。

主权项

1.一种基于多层卷积特征融合的图像协同显著性检测方法，其特征在于，具体步骤如下：(1)、对Cosal2015，PASCAL‑VOC，Coseg‑Rep三个用作协同显著性检测的数据集进行处理，包括将输入图像I、标签G的尺寸统一化，以及按照顺次选择规则确定与输入图像I一同输入的其他四张图像即输入图像I的协同图像组，一张输入图像能够确定多组协同图像组，原始的三个数据集经过处理后产生多组输入图像及其协同图像组；(2)、构建一个能够实现协同显著对象检测的端到端的深度学习网络：输入图像I与它的一个协同图像组同时作为整个网络的输入，经过多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，得到输入图像I的协同显著性图Sco，作为整个网络的输出；(3)、将步骤(1)中处理好的三个协同数据集及其对应的标签，输入步骤(2)构建的深度学习网络中进行训练，提取多层卷积特征的部分采用五个具有相同参数、权值共享的CNN分支VGG16_1、VGG16_2、VGG16_3、VGG16_4、VGG16_5，整个网络的训练在图像分类网络VGG16训练好的模型基础上进行微调，损失函数为适合回归任务的softmax损失函数，采用随机梯度下降算法来最小化损失函数直到网络收敛，网络训练在基础学习速率为10‑8且每迭代5万次乘以0.1、bitchsize为8的情况下迭代25万次后得到了一个收敛的网络模型；(4)、利用步骤(3)训练好的网络模型进行测试，测试集包括iCoseg和MSRC两个协同显著性检测的通用数据集，对于要测试的输入图像I，按照步骤(1)的顺次选择规则在同组内确定协同图像组，由于一张输入图像I能够选定多组协同图像组，测试时将输入图像I选定的多组协同图像组分别输入网络，得到这张输入图像I的多张协同显著性图Sco，再相加平均得到最终的协同显著性图Sfinal。