[发明专利]用于视频处理的时空显著性检测方法

权利要求书

1.一种用于视频处理的时空显著性检测方法，其特征在于，包括：

(1)采用层次视频分割方法对输入视频进行分割，先将输入视频序列分成m段互不重叠的子序列，其中，m是小于视频序列帧数的正整数，再对视频序列进行层次分割；

(2)对于每一个分割得到的区域，分别统计L、a、b颜色通道的直方图，其中L通道分成8个组，a通道和b通道各分成16个组，组成维的特征向量；

(3)利用相邻两帧计算图像中每一个像素的光流大小和方向，对于每个分割区域，统计16个组的光流大小直方图，和9个组的光流方向直方图；

(4)对于每一个分割区域，分别获得特征对比度，所述特征对比度通过该区域与其它区域的颜色通道的直方图、光流大小直方图和光流方向直方图的距离求和来度量；

(5)获取视频的先验显著图，包括：

①位置先验：对于第一帧图像，采用与视频帧中心点的距离作为位置先验，对于其它帧，采用前一帧中显著目标所在的位置作为位置先验，由此获得位置先验显著图；

②速度先验和加速度先验：利用步骤(3)获得的像素的光流大小和方向，分别获得像素的运动速度和加速度，得到速度先验显著图和加速度先验显著图；

③背景先验：提供时间维度上的一个滑动窗口，所述滑动窗口的帧数大于10，对窗口内的每个像素均值滤波，滤波的结果作为这个窗口中间一帧对应的背景，由此获得背景先验显著图；

(6)显著性融合：将步骤(4)得到的特征对比度与步骤(5)得到的各先验显著图进行融合，方法是，将所有的分割层次融合起来，特定的一帧中每一个像素的显著度是特征对比度和先验的线性组合，由此获得时空显著图，并实现对目标的检测。

2.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：步骤(6)中对于每一帧中检测到的目标的位置作为步骤(5)中进行下一帧位置先验时对应的前一帧中显著目标所在的位置。

3.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：所述步骤(2)中，对组成的特征向量进行归一化处理获得用于后续处理的颜色特征向量。

4.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：所述步骤(3)中，每个像素的光流大小表达为，式中，fm是光流大小，（x,y）表示像素在视频帧中的位置，u是x方向的速度，v是y方向的速度；每个像素的光流方向表示为，式中，fo是光流方向；获得光流方向直方图时，每个组为40°，所有直方图都归一化为长度为1的向量。

5.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：所述步骤(4)中，对于每一个以第t帧为中心的分割区域，即第t帧为中心的第c个像素所属的分割区域，特征对比度由下式获得：

式中，表示以第t帧为中心的分区域的特征对比度，，col是步骤(2)获得的颜色直方图的特征向量，表示第t帧第i个像素所属的分割区域，是区域的大小，是两个不同区域的重心和接近程度的度量，，是归一化经验值。

6.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：所述步骤(4)之①中，对于当前视频帧中的每一个像素i，其归一化的坐标为，上一帧的显著目标的中心位置为，则，像素i的位置先验为：

。

7.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：所述步骤(4)之②中，像素(x,y)的运动速度为，式中，，fm是光流大小，（x,y）表示像素在视频帧中的位置，u是x方向的速度，v是y方向的速度；

像素(x,y)的加速度为，（x-1,y）、(x+1,y)、(x,y-1)、(x,y+1)分别表示像素(x,y)四周相邻的像素。

8.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：所述步骤(4)之③中，窗口中间帧对应的背景先验由下式给出：

式中，（x,y）表示像素在视频帧中的位置，I(x,y)是（x,y）处的像素值，B(x,y)是（x,y）处的背景值，是预设的归一化参数；

给定一个分割区域，该区域的先验定义如下：

其中是分割区域的面积，是区域中的第i个像素的先验，。

9.根据权利要求1所述的用于视频处理的时空显著性检测方法，其特征在于：步骤(6)中的显著性融合为，

其中下标中i，t表示第t帧的第i个像素，j表示第j层的分割，表示第t帧中的第i个像素所属的分割区域。