[发明专利]一种基于全局模型和局部优化的深度网络显著性检测方法

说明书

本发明公开了一种基于全局模型和局部优化的深度网络显著性检测方法，该方法基于深度卷积神经网络和手工提取特征相结合的思路，设计有效的特征向量进行显著性检测。在全局模型中，通过对VGG‑16网络设计额外的卷积层进行训练，生成初始显著图，达到了从图像整体角度预测每一个候选区域显著性的目的。在局部优化模型中，设计区域对比度描述子和区域特征描述子对多级分割的超像素点进行描述，预测每一个区域的显著性值。最后，利用条件随机场拟合的方法将两种模型中产生的显著图进行融合，得到最终的显著图。对4个数据集进行对比测试实验，实验结果验证了本发明的有效性。

技术领域

本发明涉及一种基于全局模型和局部优化的深度网络显著性检测方法，属于计算机视觉中显著性检测技术领域。

背景技术

人类的视觉机制在处理高级任务之前，会选择出整幅图像的部分子集来进行深度处理，以此减少场景的复杂度，这种选择部分区域来进行注意的机制称作视觉显著性。

显著性检测是对人类视觉注意机制的研究发展而来的一种图像处理方法，可以优先将计算资源快速而准确地分配给图像中的感兴趣区域，提高处理效率和准确度，因此，该方法可以作为目标识别和检测的一个预处理过程，避免了对目标候选区域定位上的穷尽搜索。显著性检测的方法在计算机视觉的诸多领域都有着广泛的应用，如提取候选区域、探测目标等，该方法可以作为复杂任务的前端处理。

传统的显著性检测方法，往往需要手工设计特征并需要结合一定的先验知识作为判断依据来近似人眼视觉注意机制。近年来，随着深度学习技术的发展和应用，由于其具有类似人脑神经元结构的学习模型，因此，在模拟人类视觉系统的显著性检测领域具有天然的优势。此类方法可以自动地在原始图像上提取分层特征，并通过训练的方式来求解。利用深度神经网络的模型可以实现端到端的显著性检测，在处理复杂背景和多目标情况下表现更好，并且具有较好的通用性和移植性，在图像细节描述和复杂图像集上都取得了更为理想的实验效果。

发明内容

本发明要解决的问题是：提供一种融合全局模型和局部优化的图像显著性检测方法，全局模型从整体检测目标轮廓，有助于检测较大的目标并均匀地给所包含的区域分配显著值，局部优化模型对图像中的边缘和噪声等高频内容较为敏感，可对轮廓细节进行优化，综合两个独立卷积神经网络的结果，实现图像端到端的显著性目标检测。

本发明为解决上述技术问题采用以下技术方案：

一种基于全局模型和局部优化的深度网络显著性检测方法，包括如下步骤：

步骤1，在全局模型中，以VGG-16网络为基础通过添加额外的连接层进行训练，设计一个端到端的回归卷积神经网络，可以将输入图像直接映射生成显著图，该网络可在多个尺度上产生多级特征来检测显著性目标，达到从图像整体角度预测每一个候选区域显著性目标的目的，共生成5个基于全局模型的显著图。

步骤2，在局部模型中，利用邻域像素之间的颜色、纹理等特征提取吸引人注意的点或区域设计局部模型进行显著性检测，通过深度网络将显著性的划分转化为二分类问题，学习多级图像块的特征来预测每一个像素的显著性值，生成局部显著图。

步骤3，在显著图融合中，利用条件随机场(CRF)的方法，将全局和局部模型得到的多个初始显著图进行融合，生成最终的显著图。

作为本发明的一种优选方案，步骤1中，首先将224×224尺寸的图像输入卷积神经网络中，本发明中采用的网络模型共有5组13个卷积层和相应的映射单元，5个池化层，2个全连接层和1个输出层。

输入图像经过5层池化操作之后，输出14×14×512维的特征向量。

本发明对该模型进行改进，通过设计合理的卷积核、步长、边缘补充、池化等操作，提取不同层级的特征信息，使其不同层能够生成多个相同尺度的显著图。