[发明专利]融合时空特征的视频图像视觉显著程度检测方法

说明书

技术领域

本发明涉及视频图像处理中的局部区域分析，特别涉及一种融合时空特征的视觉显著程度检测方法。

背景技术

现代高速计算机的计算能力已达到惊人的程度，但计算机视觉系统却无法指导诸如过马路之类对人来说非常简单的视觉任务。这主要是因为同样面对海量的视觉信息输入，人眼可以在短时间内有选择地关注视觉场景中的显著变化区域，并进行分析判断，从而适应环境的变化。而计算机视觉系统只会不加选择地平等对待视觉场景中的各个区域，在无法理解场景变化的同时还会造成计算瓶颈。如果我们把人类视觉视觉系统的选择性注意功能引入到计算机视觉系统中，势必会提升现有计算机图像分析效率。

视频的视觉显著性区域检测有着广泛的应用，如视频压缩。当我们需要对一部视频进行压缩时，总希望保持视频中有意义的内容有较低的压缩率，而只是对那些不重要的背景区域进行较高的压缩率。如果使用某一个设备自动实现上述功能，就需要首先对视频中每一帧的各个区域的视觉显著程度进行判断从而确定视频中有意义的内容。

在有关视觉显著性程度检测的文献中，视觉显著区域通常被定义为那些在一幅图像或视频中某一帧中具有全局稀有性的局部图像块。这种定义的一种常见实现方法是：把图像或视频帧切分成若干个图像块，然后计算每个图像块相对其它所有图像块的不相似度，最后那些具有较高不相似度的图像块被认为是比较显著的区域。其中不相似度的比较方法可以是比较两个图像块在颜色、朝向、纹理、运动等特征上的对比度。还有一种定义认为与邻域对比比较大的区域是比较显著的区域。这种定义的实现方式和上述全局稀有性定义的主要区别在于每个图像块和它周围的图像块比较不相似度，而不是和当前图像中的所有图像块。

总体来说，上述两种方法主要考察的是图像块之间的不相似程度，但实际上图像块之间的距离也和视觉显著性程度有直接的关系。对人类知觉组织原则的相关研究表明，一幅图像中的显著区域会以比较紧凑的方式出现在图像中。也就是说，在一幅图像中，如果一个局部图像块和距离它比较近的那些图像块比较相似，那么这个图像块就越可能是显著的。如果两个图像块之间的距离比较大，那么即使它们比较相似，这两个图像块对于对方显著性程度的贡献也要下降。因此在一幅图像中，一个图像块对于另一个图像块在视觉显著性上的贡献随它们之间的不相似度增大而增大，随它们之间的距离增大而下降。

同时，对人类视觉系统的相关研究表明，在观察视觉场景时，人眼具有中央偏置特性。利用视点跟踪仪记录的人眼观察大量图像的视点分布统计结果也显示，即使个别图像在该图像的边缘区域具有比较显著的内容，但总体上来看，人眼对图像中一个区域的平均关注程度随该区域与图像中央区域的距离增大而下降。

申请号为201010522415.7的专利公开了一种图像中不同区域视觉显著程度的检测方法，它使用外观、位置和与中心的距离作为特征来衡量每个图像块的显著程度，但该检测方法仅仅考虑了每两个图像块间的空间特征差异，忽视了它们之间的运动特征差异。事实上，当人们观看视频时，运动特征也是吸引人眼注意的一个关键的因素，人类视觉系统分配大量资源用于运动感知，同时，人眼也能持续跟踪目标物体。因此，当衡量视频中图像块的显著性时，运动特征差异也是必须要考虑的。

发明内容

针对现有技术存在的上述问题，本发明提出了一种基于运动特征差异的图像不同区域视觉显著性的检测方法，在获得空间特征显著图的基础上，通过提取图像块间的运动特征得到时间特征显著图，融合空间特征显著图和时间特征显著图得到时空特征显著图，能够更准确地预测视频中不同区域的显著程度。

一种融合时空特征的视频图像视觉显著程度检测方法，包括以下步骤：

步骤1，将输入视频帧切分成不重叠的图像块，并将每个图像块向量化，每个图像块对应一个向量。

步骤2，对步骤1所得到的向量通过主成分分析（PCA）方法进行降维，降低当前帧中的噪声和冗余信息。

步骤3，利用步骤2得到的降维后的向量，计算每个图像块与其它所有图像块的不相似度，再结合图像块之间的距离计算得到每个图像块的视觉显著性程度，得到空间特征显著图。

步骤4，对于步骤3所得到的空间特征显著图施加中央偏置，得到施加中央偏置后的空间特征特征显著图。

步骤5，根据“块匹配”法计算每个图像块的运动矢量，并结合前两帧的运动矢量提取当前图像块的运动特征，从而得到时间特征显著图。

步骤6，融合步骤4和步骤5所得到的两个显著图，得到时空特征显著图。通过二维高斯平滑算子进行平滑，得到最终反映图像上各个区域显著程度的结果图像。