[发明专利]一种基于GPU的视频分层方法

说明书

技术领域：

本发明涉及一种基于GPU的视频分层方法。

背景技术：

视频分层技术在对象识别，视频压缩以及多目标跟踪等方面有着广泛的应用。考虑到视频本身数据的复杂性，以及现有技术的不成熟，视频分层不能对所有的视频得到十分理想的效果，很多方法针对特定类别的视频才有比较好的结果。目前国内外对于视频分层的研究主要是基于运动信息，然后融合颜色，空间以及形状等信息进行计算处理。

基于运动信息的视频分层主要包括两方面的内容：(1)视频各层次的描述，即相应运动模型参数表述；(2)视频中每帧的像素归属于相应层的操作。对于各层次的运动描述，一般使用光流算法以及假设相应的运动模型进行计算；对视频中每帧的像素计算相应的层次标号，一般采用概率模型方法，在已知初始层的情况下，计算像素属于各个层次的概率值，从而决定其属于哪一层次，或者采用全局优化的方法。目前国内外对于视频分层的研究，采用比较多的算法框架主要有概率模型算法以及图分割算法等。由于光流法对于纹理信息匮乏的区域，会产生较大的计算偏差，所以使用光流法计算相应的运动模型有一定的局限性，而且基于像素的概率模型算法以及图分割算法计算量较大，处理视频比较耗时。

发明内容：

本发明要解决的技术问题是提供一种结合颜色，运动和空间信息的基于GPU的视频分层方法，能够提高分层精度、减少计算量。为此，本发明采用以下技术方案：它包括以下步骤：

1)、对于输入的视频，选择其中的一帧作为关键帧，对关键帧进行图像分割操作，得到一系列区域块；采用光流法计算关键帧中各像素的光流信息；

2)、统计各个区域块中运动信息匮乏的像素所占的比例，标注出纹理信息匮乏的区域块；

3)、对于未标注为纹理信息匮乏的区域块，根据区域块中像素的光流信息，计算区域块对应的仿射运动参数；

4)、根据区域块对应的仿射运动参数，对面积达到阈值的区域块进行聚类处理，将得到的聚类簇作为初始的层次；

对初始的层次中的各层重新计算仿射运动参数；

5)、结合运动信息和颜色信息对未指派的像素区域进行计算处理，将其指定到所述初始的层次中的相应层中；未指派的像素区域包含两部分：其一，步骤4中因为面积未达到所述阈值，而没有参与聚类处理的区域块；其二，步骤4中参与聚类处理，但没有被所述初始的层次涵盖的区域块；

6)、对视频中的其它帧采用最大后验概率模型进行分层处理；

7)、采用基于GPU的算法提高步骤6)的计算处理速度。

在采用上述技术方案的基础上，本发明还可采用或组合采用以下进一步的技术方案：

在步骤1)中，采用mean-shift算法进行图像分割，在图像分割操作过程中，调整mean-shift算法中窗口大小参数，从而得到图像过分割对应的区域块。

在步骤1)中，对输入的视频选择与关键帧相邻或者间隔几帧的一帧图像作为辅助帧，针对关键帧和辅助帧，使用Lucas & Kanade算法，计算关键帧中像素对应的光流信息。

所述步骤2)中以光流信息x方向与y方向都为零的像素点为运动信息匮乏的像素，其数目占该区域块中像素点的比例达到阈值时，则将该区域块标定为纹理信息匮乏的区域块。

步骤3)包含以下分步骤：

3-1、找出权利要求3中所述的关键帧和辅助帧的匹配点对；

3-2、根据匹配点对计算仿射运动参数。

在分步骤3-1中，使用Lucas-Kanade算法计算出关键帧中各区域块内像素坐标在辅助帧中对应的像素坐标，将在关键帧和辅助帧中对应的两个像素点定为所述匹配点对，并对其中的孤立点，噪声点使用k邻近算法剔除。

在分步骤3-2中，通过区域块内的多对匹配点使用最小二乘法得到相应区域块的仿射运动参数。

在步骤4)中，先使用SVD方法对仿射运动参数值进行降维处理，对于得到的降维数据，采用K-means方法对数据再进行聚类处理，形成初始的层次，然后将各初始层视为一个整体，根据前述的方法，计算各初始层对应的仿射运动参数。

在步骤5)中，对于面积小于所述阈值，而没有参与聚类处理的区域块，计算其与初始的层次中的各层之间的质心距离，将其指派到离其最近的所述层中；