[发明专利]一种基于多层卷积特征融合的图像协同显著性检测方法

说明书

本发明公开了一种基于多层卷积特征融合的图像协同显著性检测方法。具体步骤为：(1)、对图像数据集进行处理，包括统一尺寸，以及按照顺序选择规则为每张图像选定协同图像组；(2)、构建协同显著性检测的深度学习网络，输入图像及其协同图像组经过多层卷积特征提取、协同特征提取、多尺度特征融合和多尺度显著性图融合，得到输入图像协同显著性图；(3)、将(1)中处理好的训练数据输入(2)中构建的深度学习网络进行训练，直到网络收敛得到一个训练好的网络模型；(4)、利用(3)中训练好的网络模型对测试数据集进行实验，一张输入图像与它的多组协同图像组可以得到多张协同显著性图，将它们相加平均后，得到这张的输入图像最终的协同显著性图。

技术领域

本发明涉及一种图像协同显著性检测方法，特别是一种基于多层卷积特征融合的图像协同显著性检测方法，旨在从一组具有共同显著对象的图像集中检测出共同显著的对象。

背景技术

媒体数字化和网络技术的发展，每时每刻都产生着海量的图像和视频。人们享受着图像和视频带来的丰富的视觉信息和快捷方便的交互方式，与此同时，对这些多媒体资源进行个性化理解和操作的需求也越来越迫切。视觉显著性检测模型能模拟人眼的视觉注意机制来自动捕捉场景中引人注目的对象，吸引了学术界的浓厚兴趣。随着存在共同对象的相似图像不断积累，从一系列相关联图像中找到共同显著的对象，即协同显著性检测，作为视觉显著性检测的一个新兴分支，也引起了广泛的关注。2015年，Ye等人提出了一种基于共同显著对象发现和恢复的协同显著性检测模型，首先根据低级视觉特征和全局相似性构造样例显著性图，然后传播样例显著性到匹配区域，对共同显著对象区域进行局部和全局恢复，最后，基于注视点关注区域生成了质量更好的协同显著性图。近些年来，深度学习尤其是卷积神经网络在计算机视觉领域大放异彩，取得了非凡的成绩。2017年，Wei等人提出了一种端到端的基于深度学习的协同显著性检测模型，首先同时输入五张具有共同显著对象的图像，分别经过一个13层的全卷积网络提取单张图像特征，然后将这五个单张图像特征图串联融合，经过3层卷积层的处理，得到具有协同信息的特征图，最后将具有协同信息的特征图与单张图像的特征图融合，经过几层卷积层与反卷积层，输出五张原始图像的协同显著性图。但是，该模型仅仅提取了最后一个卷积层的特征图，且只考虑了同时输入的五张图像的协同信息，因此在协同显著性检测性能上存在一定的限制。

发明内容

本发明的目的在于提高现有技术的性能，提出一种基于多层卷积特征融合的图像协同显著性检测方法。

为了达到上述目的，本发明采用的技术方案如下：

一种基于多层卷积特征融合的图像协同显著性检测方法，该方法的具体步骤如下：

(1)、对Cosal2015(50组，2015张)，PASCAL-VOC(20组，1037张)，Coseg-Rep(23组，573张)三个可用作协同显著性检测的数据集进行处理，包括将输入图像I、标签G的尺寸统一化，以及按照顺次选择规则确定与输入图像I一同输入的其他四张图像即输入图像I的协同图像组，一张输入图像可以确定多组协同图像组，原始的三个数据集经过处理后共产生81103组输入图像及其协同图像组；

(2)、构建一个能够实现协同显著对象检测的端到端的深度学习网络：输入图像I与它的一个协同图像组同时作为整个网络的输入，经过多层卷积特征提取、协同特征提取、多尺度特征融合、多尺度显著性图融合，得到输入图像I的协同显著性图S_co，作为整个网络的输出；