[发明专利]一种基于全局先验和局部上下文的深度学习显著性检测方法

说明书

本发明公开一种基于全局先验和局部上下文的深度学习显著性检测方法，首先对彩色图像和深度图像进行超像素分割，基于每个超像素的紧凑性、独特性和背景性等中层特征，获得每个超像素的全局先验特征图，并进一步通过深度学习模型，得到全局先验显著图；然后，结合全局先验显著图和彩色图像与深度图像中的局部上下文信息，通过深度学习模型，得到初始显著图；最后，依据空间一致性和外观相似性优化初始显著图，得到最终显著图。应用本发明，解决了传统显著性检测方法无法有效检测到复杂背景图像中的显著物体，还解决了现有的基于深度学习的显著性检测方法由于提取出的高层特征存在噪声而导致误检的问题。

技术领域

本发明属于图像处理和计算机视觉领域，尤其涉及一种基于全局先验和局部上下文的深度学习显著性检测方法。

背景技术

人眼在感知外部环境时，总能从包含有大量信息的场景中提取出感兴趣的内容，这种能力被称为视觉注意。视觉注意是计算机视觉中的一个研究热点，主要有两个方面的研究：一是研究基于视觉注意机制的眼睛注视，二是研究显著性目标区域的提取，也就是显著性检测。显著性检测的目的是从图像中将比较引人注目的目标区域与背景分离开，然后提取目标及其携带的信息，其广泛应用于图像分割、图像识别、视频异常检测等领域。

目前关于显著性检测的研究比较丰富，特征的对比是显著性检测的一个重要手段，从对比范围来说，显著性检测方法可分为局部对比和全局对比。局部对比方法通过计算检测区域与其邻域之间在颜色、纹理、边缘、方向等特征上的不同来突显检测区域，其强调显著区域的边缘但缺乏图像全局信息。全局对比方法通过将检测区域与图像中所有其它区域进行对比检测显著性，其能较好地突出显著区域的内部，但是当显著目标较大或者背景较复杂时，全局对比方法反而容易突出背景区域。最近，已有一些方法将局部对比和全局对比相结合，进行显著性检测。这些方法采用手工设定的特征和一些先验知识来计算显著性，其在简单场景下检测效果较好，但是对于具有复杂场景的图像，就很难设定有效的检测特征，因此，其检测结果中往往存在比较多的漏检和误检区域。

深度学习通过构建多层人工神经网络，能自动有效地提取图像的检测特征，并在图像分类和目标检测等任务中获得了优秀的性能。最近，也有一些方法将深度学习技术应用到显著性检测中。然而，这些方法都是仅将原图像或者原图像的局部区域作为深度学习模型的输入，对显著性检测来说，这些输入所包含的信息并不都是有用的，无用的信息会干扰高层特征的提取，影响深度学习模型的性能。

为了解决上述问题，当前需要一种新的基于深度学习的显著性检测方法。

发明内容

本发明要解决的问题是：在图像的显著性物体检测技术中，单纯依靠手工设定的特征和一些先验知识来计算显著性，无法有效检测到复杂背景图像中的显著物体；而现有的基于深度学习的显著性检测方法，仅将原图像或者原图像的局部区域作为深度学习模型的输入，由于提取出的高层特征存在噪声而导致误检。需要提出一种新的基于深度学习的显著性检测方法，提高检测效果。

为了解决上述问题，本发明提供了一种基于全局先验和局部上下文的深度学习显著性检测方法，以超像素为检测单位，融合全局先验和局部上下文信息，基于深度学习进行图像的显著性检测，包括以下步骤：

1)将彩色图像和深度图像进行超像素分割；

2)基于超像素的分割结果构建图模型，将每个超像素作为图模型中的顶点，构建无向图，每个超像素不仅和它相邻的超像素相连，而且和它相邻超像素的邻域超像素相连，并且位于边界的每个超像素互相连接，边的权值为两个超像素间的特征差异；

3)生成全局先验显著图，具体为：首先，基于每个超像素的颜色、纹理、深度等底层特征，计算其紧凑性、独特性和背景性等中层特征，并计算每个超像素与所有超像素之间的中层特征差异，得到每个超像素对应的紧凑性、独特性和背景性特征图，组合这些特征图，生成其对应的全局先验特征图，进一步将所有超像素对应的全局先验特征图作为深度学习模型的输入，得到全局先验显著图；