[发明专利]一种基于GPU的视频分层方法

权利要求书

1.一种基于GPU的视频分层方法，其特征在于它包括以下步骤：

1)、对于输入的视频，选择其中的一帧作为关键帧，对关键帧进行图像分割操作，得到一系列区域块；采用光流法计算关键帧中各像素的光流信息；

2)、统计各个区域块中运动信息匮乏的像素所占的比例，标注出纹理信息匮乏的区域块；

3)、对于未标注为纹理信息匮乏的区域块，根据区域块中像素的光流信息，计算区域块对应的仿射运动参数；

4)、根据区域块对应的仿射运动参数，对面积达到阈值的区域块进行聚类处理，将得到的聚类簇作为初始的层次；

对初始的层次中的各层重新计算仿射运动参数；

5)、结合运动信息和颜色信息对未指派的像素区域进行计算处理，将其指定到所述初始的层次中的相应层中；未指派的像素区域包含两部分：其一，步骤4中因为面积未达到所述阈值，而没有参与聚类处理的区域块；其二，步骤4中参与聚类处理，但没有被所述初始的层次涵盖的区域块；

6)、对视频中的其它帧采用最大后验概率模型进行分层处理；

7)、采用基于GPU的算法提高步骤6)的计算处理速度。

2.根据权利要求1所述的一种基于GPU的视频分层方法，其特征在于在步骤1)中，采用mean-shift算法进行图像分割，在图像分割操作过程中，调整mean-shift算法中窗口大小参数，从而得到图像过分割对应的区域块。

3.根据权利要求1或2所述的一种基于GPU的视频分层方法，其特征在于在步骤1)中，对输入的视频选择与关键帧相邻或者间隔几帧的一帧图像作为辅助帧，针对关键帧和辅助帧，使用Lucas & Kanade算法，计算关键帧中像素对应的光流信息。

4.根据权利要求1所述的一种基于GPU的视频分层方法，其特征在于所述步骤2)中以光流信息x方向与y方向都为零的像素点为运动信息匮乏的像素，其数目占该区域块中像素点的比例达到阈值时，则将该区域块标定为纹理信息匮乏的区域块。

5.根据权利要求3所述的一种基于GPU的视频分层方法，其特征在于步骤 3)包含以下分步骤：

3-1、找出权利要求3中所述的关键帧和辅助帧的匹配点对；

3-2、根据匹配点对计算仿射运动参数。

6.根据权利要求5所述的一种基于GPU的视频分层方法，其特征在于在分步骤3-1中，使用Lucas-Kanade算法计算出关键帧中各区域块内像素坐标在辅助帧中对应的像素坐标，将在关键帧和辅助帧中对应的两个像素点定为所述匹配点对，并对其中的孤立点，噪声点使用k邻近算法剔除；

在分步骤3-2中，通过区域块内的多对匹配点使用最小二乘法得到相应区域块的仿射运动参数。

7.根据权利要求6所述的一种基于GPU的视频分层方法，其特征在于在步骤4)中，先使用SVD方法对仿射运动参数值进行降维处理，对于得到的降维数据，采用K-means方法对数据再进行聚类处理，形成初始的层次，然后将各初始层视为一个整体，根据权利要求6所述的方法，计算各初始层对应的仿射运动参数。

8.根据权利要求1所述的一种基于GPU的视频分层方法，其特征在于在步骤5)中，

对于面积小于所述阈值，而没有参与聚类处理的区域块，计算其与初始的层次中的各层之间的质心距离，将其指派到离其最近的所述层中；

对于面积大于所述阈值，参与聚类处理，但初始层次没有涵盖的区域块，计算参与聚类处理但初始层次没有涵盖的区域块相对初始的层次中的各层的仿射运动残差值，如果最小的仿射运动残差值小于等于仿射运动残差值阈值，将其指派到使其运动残差值最小的所述层中；否则，计算各初始层对应区域块的颜色直方图，并对其进行归一化处理，根据像素颜色信息，计算待考虑区域块中各像素属于所述初始的层次中的各层的概率值，将各像素标注为使其取得最大概率值的层次号，然后统计待考虑区域块对应的像素的标注情况，将该区域块指派给标注次数最多的所述层中。

9.根据权利要求1所述的一种基于GPU的视频分层方法，其特征在于在步骤6)中，包括以下分步骤：

6-1、根据关键帧的分层结果，对每层在颜色、运动和空间数据上分别进行 概率建模，其中，对于颜色和运动数据根据高斯分布进行建模，对空间数据根据图像中像素的实际空间数据进行建模；

6-2、将关键帧作为参考帧，将关键帧相邻的帧作为当前帧；

6-3、采用启发式算法计算颜色、运动以及空间各项数据对应的权重，计算当前帧的各像素属于所述初始的层次中的各层的概率值，计算得到的最大概率值对应的层次即为该像素在所述初始的层次中的层次；

6-4、得到当前帧的分层结果后，将当前帧视为参考帧，将与参考帧相邻的帧作为当前帧，根据参考帧的分层结果，按照分步骤6-1的方法对每层在颜色、运动和空间数据上分别进行概率建模，接着按照分步骤6-3对当前帧剂进行分层；

6-5、循环进行分步骤6-3和6-4，直至对所有需要分层的帧分层完毕。