[发明专利]一种多信息融合的立体视频显著性检测方法

说明书

本发明方法公开了一种多信息融合的立体视频显著性检测方法。本发明方法首先通过2D视频序列的色彩特征、空间特征、中心位置特征计算，得到2D空间显著图；基于时空一致性，在2D空间显著图的基础上获得2D运动显著图；然后利用不同区域的深度差异度计算深度空间显著图；提取深度变化的信息，获得深度运动图；最后使用多层细胞自动机融合产生的视频序列的四种显著图，得到立体视频的显著图。本发明方法根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制，尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用，融合了多种立体视频在空间和时间上的特征，消除单一特征计算显著性带来的噪声影响。

技术领域

本发明属于图像处理技术领域，具体是立体视频处理技术领域，涉及一种多信息融合的立体视频显著性检测方法。

背景技术

随着多媒体技术的发展，多媒体数据呈现爆炸式的增长趋势。其中，图像和视频数据因其生动、形象、真实等特点，越来越多地出现在人们生活的方方面面，成为海量视觉信息的主流。计算机智能地帮助人类分析和处理图像数据成为主要趋势。但是在实际运用中，如何让计算机像人眼一样处理图像和视频是计算机视觉领域非常热门的研究方向。在现实生活中，大脑总是对感兴趣的信息优先进行处理，对所有的视觉信息同时进行分析处理，这在人类视觉系统(Human Visual System，HVS)中称为视觉注意机制(Visual AttentionMechanism,VAM)。人们让计算机通过智能算法模拟人的视觉注意机制，提取图像中的显著区域。

近些年来，显著性检测研究发展较快，在2D视觉显著性检测方向的研究已趋于成熟，一些2D显著性检测模型都拥有较高的准确性和可靠性，但在自然场景中，人类视觉系统除了感知颜色、形状等信息时，还会对场景距离远近进行处理，也即感知深度信息。在立体图像的显著性检测模型中，深度信息是不可缺少的一个考虑因素。深度信息的加入将会提高显著性检测模型的稳定性和可靠性。另外，针对立体视频的显著性检测模型，还应该考虑视频的特殊信息，即相邻帧之间的运动信息与深度变化信息。目前在立体视觉显著性检测方面的研究还远不如平面的视觉显著性检测成熟。

发明内容

本发明的目的是针对立体视频显著性检测方面的研究，提供一种多信息融合的立体视频显著性检测方法。

本发明方法提出的立体视频显著性检测，不仅考虑立体视频平面的时间与空间信息，而且还将深度信息加入其中。

本发明方法以视频序列的帧为单位，利用空间和时间上的平面与深度信息分别计算2D空间显著图、深度空间显著图、2D运动显著图、深度运动显著图,然后采用多层元胞自动机(Multi-layer Cellular Automata，MCA)来融合得到立体视频的显著图。

本发明方法具体步骤是：

步骤(1)通过2D视频序列的色彩特征、空间特征、中心位置特征计算，得到2D空间显著图

步骤(2)基于时空一致性，在2D空间显著图的基础上获得2D运动显著图；

步骤(3)利用不同区域的深度差异度计算深度空间显著图

步骤(4)提取深度变化的信息，获得深度运动图；

步骤(5)使用多层细胞自动机融合步骤(1)～(4)产生的视频序列的四种显著图，得到立体视频的显著图。

进一步，步骤(1)具体是：

(1-1)采用线性迭代聚类SLIC超像素分割算法对第K帧视频序列进行超像素分割；

将每个超像素所包含的所有像素的LAB空间颜色信息的平均值作为对应超像素的颜色特征c_i，表示第i个超像素的颜色特征；

将每个超像素所包含的所有像素的平均坐标信息作为对应超像素的空间位置特征l_i，表示第i个超像素的位置特征；