[发明专利]一种基于全局‑局部特征融合的显著性检测方法

说明书

技术领域

本发明属于图像处理技术领域，涉及一种基于全局-局部特征融合的显著性检测方法。

背景技术

随着信息技术的快速发展，如何利用计算机代替人类处理这些以爆炸式速度增长的信息，并模仿视觉注意机制快速提取图像中的显著区域(即人类感兴趣的区域)，已成为计算机视觉领域的研究热点。

对显著性检测的研究已有三十年的历史，期间涌现出了各种基于不同理论的检测方法，大致可分为两类：一类是以任务驱动的自顶向下的方法，灵活性较差；另一类是快速且以数据驱动的自底向上的方法，已成为目前研究的主流。其中，比较经典的自底向上的显著性检测理论包括：

1)最早的Itti模型，该方法采用一些亮度、颜色等图像底层特征，通过“中心-周边差”的检测方法预测显著点，产生的显著图较模糊。

2)图模型，以Itti模型为基础，通过计算不同特征图的马尔科夫链平衡分布获取显著区域位置，ROC面积值较Itti算法有显著提高。

3)简单易实现的检测算法，如“ACHANTA R,ESTRADA F,WILS P,et al.Salient region Detection and Segmentation[J].Computer Vision Systems,2008:66-75.”一中使用颜色与亮度低级特征计算图像子区域像素与其邻域的像素平均特征向量之间的距离来取得显著值，此后“RAHTU E,KANNALA J,SALO M,et al.Segmenting Salient Objects from Images and Videos[C]//European Conference on Computer Vision.Springer Berlin Heidelberg,2010:366-379.一文提出基于局部特征对比度的显著性检测，通过学习局部信息评估显著性，得到清晰的显著图。

然而以上方法存在以下两个主要问题，1)这些人工设计特征不能捕捉到显著目标的深层信息；2)在显著区域边缘产生较高的显著值，没有均匀地突出显著物体。

近年来，一些研究者已经提出了基于深度学习的显著性检测方法。如“WEN S,HAN J,ZHANG D,et al.Saliency Detection Based on Feature Learning using deep Boltzmann Machines[C]//Multimedia and Expo(ICME),2014IEEE International Conference on.IEEE,2014:1-6.”一文中给出了一种无监督特征学习的检测方法，利用双层深度玻尔兹曼网络解决了以往手工特征提取不足的问题。为有效刻画图像数据更丰富的特征信息，利用卷积神经网络(Convolutional neural networks,CNN)在特征学习上的优势，如“LI G,YU Y.Visual Saliency Based on Multiscale Deep Features[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:5455-5463.”，该方法通过CNN三个不同尺度上进行特征学习，并采用空间一致性、聚合不同级别特征计算显著图，进一步提升模型性能。

以上这些方法通过深度学习自动学习图像特征，取得了一定的显著性检测效果，但仍存在以下问题：1)显著性检测特征学习不足，准确性依然不高；2)显著区域聚焦点不清晰，对复杂场景的抗噪能力较差。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种基于全局-局部特征融合的显著性检测方法，该方法检测准确度较高，并且显著区域聚焦点清晰，并且对复杂场景的抗噪能力较强。

为达到上述目的，本发明所述的基于全局-局部特征融合的显著性检测方法包括以下步骤：

1)输入待处理图像数据集I＝{I_train,I_val,I_test}，其中，I_train为待处理图像数据训练集，I_val为待处理图像数据的验证集，I_test为待处理图像数据的测试集，再对待处理图像数据集I进行预处理；

2)利用CNN模型构建全局网络结构；

3)利用VGG模型构建STN网络，再通过STN网络及CNN模型构建局部网络结构；