[发明专利]一种2D-3D视频转换中的关键帧选择方法

说明书

技术领域

本发明涉及一种2D-3D视频转换中的基于边缘点分类的关键帧选择方法，属于视频、多媒体信号处理和三维显示技术领域。

背景技术

目前，2D-3D视频转换技术因为其能将已有的任意2D视频转成具有立体感的3D视频而受到越来越多的关注。一般情况下，2D-3D视频转换包含以下几个步骤：1)选择关键帧，2)分配关键帧的深度，3)传播得到非关键帧的深度，4)利用DIBR算法合成左右视图。通常2D-3D视频转换分为两大类，即不需要任何人工参与的全自动2D-3D视频转换和需要人工参与分配深度的半自动2D-3D视频转换。虽然全自动2D-3D视频转换节省人力，但是得到的立体视频的效果不尽如人意。在半自动2D-3D视频转换中，需要选择关键帧并为关键帧人工分配深度。半自动2D-3D视频转换得到的三维视频立体效果比全自动2D-3D视频转换要好，这也是半自动2D-3D视频转换越来越受青睐的原因。与全自动2D-3D视频转换相比，半自动2D-3D视频转换的不足之处是需要花费较多的时间和人力在人工分配关键帧的深度上。

作为2D-3D视频转换中的第一步，关键帧的选择无论对于半自动2D-3D视频转换还是全自动2D-3D视频转换都是至关重要的。目前，2D-3D视频转换中的关键帧通常是通过对视频帧序列进行等间隔采样得到。这种方法得到的关键帧没有考虑视频帧的特征，使得通过这些关键帧得到的3D视频不能获得理想的视觉效果。为解决这一问题，本发明通过加入对视频帧特征的分析步骤，采用逐层精选的方式，对传统的关键帧选择方法进行了改进，使得到的关键帧更为有效，整体提升了3D视频的视觉效果。

发明内容

本发明提出了一种2D-3D视频转换中关键帧选择方法。应用本方法后，再利用基于小波变换的深度估计方法得到关键帧的深度图。在利用小波变换求关键帧的深度时，对每个像素点构造一个16*16大小的窗口，然后对这个窗口进行小波变换，将高频带(LH频带，HL频带和HH频带)中非零的小波变换系数用来表示该像素点的深度值。

本发明提出的关键帧选择方法中，首先根据需要的关键帧数目将输入视频分成和关键帧数目相同的若干片段，然后以每一个片段里面的帧为对象，分析这些帧的前景物体和背景物体的颜色区别，剔除前景物体和背景物体颜色相近的帧，得到第一轮候选关键帧，再以第一轮候选关键帧为对象，计算前景物体的面积，根据前景物体的面积进一步精选，得到第二轮候选关键帧，最后对第二轮候选关键帧中的边缘点进行分析，根据分析结果选择其中若干候选关键帧作为最终的关键帧，具体包括以下步骤：

(1)根据输入视频图像的总数和需要选择的关键帧的数目，将输入视频分割成若干个片段，在每一个视频片段里按照(2)-(4)的方法逐步选取关键帧；

以上步骤(1)的具体实现步骤为：

A确定输入视频帧的总数和需要选取的关键帧的数目；

B根据视频帧的总数和关键帧的数目，将视频的所有帧按照时间顺序分割成若干个片段。

(2)以每一个视频片段为对象，分析其包含的每一帧中前景物体和背景物体的颜色区别，将前景物体和背景物体颜色相近的视频帧从视频片段中去除，得到第一轮候选关键帧；

上述步骤(2)的具体实现步骤为：

A利用图割（Graph Cuts）算法对各视频片段中每一帧进行分割，图像中颜色相同的像素被分到同一区域块当中去；

B根据步骤A的分割结果，判断前景物体和背景物体是否被分到同一区域块当中；

C将前景物体和背景物体被分到同一区域块中的帧去除，得到第一轮候选关键帧。

(3)计算第一轮候选关键帧中每一帧前景物体的面积，选择前景物体面积与图像总面积比值较大的帧作为第二轮候选关键帧；

上述步骤(3)的具体实现步骤为：

A对于第一轮候选关键帧的每一帧，将属于前景物体的像素个数记为前景物体的面积，将一帧中总的像素个数记为图像的总面积；

B为每一帧计算前景物体面积和图像总面积的比值；

C设定一个阈值，将前景物体面积与图像总面积比值大于设定阈值的帧选作第二轮候选关键帧。

(4)对第二轮候选关键帧中的每一帧，根据Lipschitz指数将边缘点进行分类，根据边缘点选择最佳的关键帧；

上述步骤(4)的具体实现步骤为：