[发明专利]一种基于区域的多尺度时空视觉显著性检测方法

权利要求书

1.一种基于区域的多尺度时空视觉显著性检测方法，其特征在于，主要包括多尺度视频分割(一)；空间显著性实体构建(二)。

2.基于权利要求书1所述的多尺度时空视觉显著性检测方法，其特征在于，通过将静态特征与动态特征相结合来检测视频中的突出区域，其中从区域检测到特征；该方法首先执行时间超像素模型，将视频分割成各种尺度级别的时空区域；提取在每个尺度级别的运动信息及每个帧的特征；从这些特征中构建特征映射，包括两个低级特征映射，呈现区域之间的对比；中层特征映射呈现区域内的属性；将这两种特征映射相结合，为每个尺度级别的区域生成空间显著实体；通过对每个区域单独使用自适应时间窗口(ATW)来平滑显著性值，将时间一致性纳入空间显著实体，形成时空显著实体跨框架；最后，通过融合其多尺度时空显著实体，为每个帧生成时空显著图。

3.基于权利要求书1所述的多尺度视频分割(一)，其特征在于，多尺度分割能够分析来自多个结构级别的显著性线索，处理复杂的突出结构；它可以将一个视频分成三个级别；每个分割级别具有不同数量的超像素，被定义为非重叠区域；采用时间超像素的方法分割视频，它是基于多帧的超像素分割；时间超像素法利用与运动模型组合的空间强度高斯混合模型(GMM)，作为下一帧的先验；运动信息是用来在帧中传播超像素，减少一个单帧并生成超像素；分割之后可以获得多尺度时间超像素；通过每一个尺度处理跨框架之间的连接，从而预测运动的超像素在帧的位置。

4.基于权利要求书1所述的空间显著性实体构建(二)，其特征在于，空间显著性实体构建包括低级特征映射、中级特征映射、特征映射组合和结合时间一致性。

5.基于权利要求书4所述的低级特征映射，其特征在于，为了估计视频中区域的吸引力，通常使用对比度来评估每个帧中元素的灵敏度；对比度通常基于低级别的特征，包括静态信息，如颜色、强度、纹理，以及动态信息，如运动的大小或方向；

其中，γ,λ,σ,和θ的参数如下：γ＝0.05称为空间长宽比，其指定Gabor函数的支持的椭圆度的常数；λ＝8表示Gabor滤波器内核的余弦因子的波长和Gabor函数的优选波长；σ是Gabor函数的高斯因子的标准偏差，其中σ/λ确定空间频率带宽；固定σ＝0.56λ对应于带宽，对应于的bω＝1；表示确定Gabor函数对称滤波器的相位偏移；使用两个滤波器组的正交对，包括奇数滤波器和一个偶数滤波器角度参数θ指定Gabor函数的平行带的法线方向；用作为八个方向，其中k∈{0,1,…,7}，然后量化为16位二进制；

由于人类视觉系统对运动物体比对静止物体更敏感，所以在相同分割级别的区域之间动态特征也进行了比较；像素式光流用于分析连续帧之间的运动；区域运动特征可通过计算该区域中的流量信息的分布来获得。