[发明专利]一种基于区域的多尺度时空视觉显著性检测方法

说明书

技术领域

本发明涉及视觉显著性检测领域，尤其是涉及了一种基于区域的多尺度时空视觉显著性检测方法。

背景技术

在互联网通信技术与多媒体处理技术飞速发展的今天，数字图像与食品已逐渐成为信息的主要载体。面对海量的图像与视频，与数据增长相匹配的图像处理技术已成为迫切需要。在图像的预处理阶段，通过视觉显著性检测可以减少甚至避免人工参与，自动或自适应地实现如图像分割、场景分类、目标识别等任务。视觉显著性机制保证了人眼对视觉信息处理的高效性。目前对视觉显著性检测的研究已经成为近几年机器视觉领域的热门方向，其研究成果已经广泛应用于图像压缩、图像检索、图像编辑、场景分类目标识别等多个领域，具体应用包括濒危动物或目标动植物活动或生长的实时监测，对公共交通、道路实况的检测，甚至是目标人物的行为动作的检测。现有的技术中，有时会难以将目标与背景区分开，当目标移动时，背景运动也随着目标的速度和方向变化而变化，从而导致帧之间的目标出现波动。

本发明提出了一种基于区域的多尺度时空视觉显著性检测方法，先执行时间超像素模型，将视频分割成各种尺度级别的时空区域，接着提取在每个尺度级别的运动信息及每个帧的特征并构建特征映射，将特征映射相结合，为每个尺度级别的区域生成空间显著实体，然后对每个区域单独使用自适应时间窗口平滑显著性值，纳入时间一致性形成时空显著实体跨框架，最后通过融合多尺度时空显著实体为每个帧生成时空显著图。本发明克服了使用固定数量的参考帧的限制，同时引入自适应时间窗口的新型度量，可以在视频中保持每个实体的连续帧之间的时间一致性，减少帧之间目标的波动。

发明内容

针对难以将目标与背景区分开的问题，本发明的目的在于提供一种基于区域的多尺度时空视觉显著性检测方法，先执行时间超像素模型，将视频分割成各种尺度级别的时空区域，接着提取在每个尺度级别的运动信息及每个帧的特征并构建特征映射，将特征映射相结合，为每个尺度级别的区域生成空间显著实体，然后对每个区域单独使用自适应时间窗口平滑显著性值，纳入时间一致性形成时空显著实体跨框架，最后通过融合多尺度时空显著实体为每个帧生成时空显著图。

为解决上述问题，本发明提供一种基于区域的多尺度时空视觉显著性检测方法，其主要内容包括：

(一)多尺度视频分割；

(二)空间显著性实体构建。

其中，所述的多尺度时空视觉显著性检测方法，通过将静态特征与动态特征相结合来检测视频中的突出区域，其中从区域检测到特征；该方法首先执行时间超像素模型，将视频分割成各种尺度级别的时空区域；提取在每个尺度级别的运动信息及每个帧的特征；从这些特征中构建特征映射，包括两个低级特征映射，呈现区域之间的对比；中层特征映射呈现区域内的属性；将这两种特征映射相结合，为每个尺度级别的区域生成空间显著实体；通过对每个区域单独使用自适应时间窗口(ATW)来平滑显著性值，将时间一致性纳入空间显著实体，形成时空显著实体跨框架；最后，通过融合其多尺度时空显著实体，为每个帧生成时空显著图。

其中，所述的多尺度视频分割，多尺度分割能够分析来自多个结构级别的显著性线索，处理复杂的突出结构；它可以将一个视频分成三个级别；每个分割级别具有不同数量的超像素，被定义为非重叠区域；采用时间超像素的方法分割视频，它是基于多帧的超像素分割；时间超像素法利用与运动模型组合的空间强度高斯混合模型(GMM)，作为下一帧的先验；运动信息是用来在帧中传播超像素，减少一个单帧并生成超像素；分割之后可以获得多尺度时间超像素；通过每一个尺度处理跨框架之间的连接，从而预测运动的超像素在帧的位置。

其中，所述的空间显著性实体构建，空间显著性实体构建包括低级特征映射、中级特征映射、特征映射组合和结合时间一致性。

进一步地，所述的低级特征映射，为了估计视频中区域的吸引力，通常使用对比度来评估每个帧中元素的灵敏度；对比度通常基于低级别的特征，包括静态信息，如颜色、强度、纹理，以及动态信息，如运动的大小或方向；