[发明专利]一种用于2D-3D视频转换的深度图生成方法及装置

说明书

本发明属于视频、多媒体信号处理技术领域，具体涉及一种用于2D‑3D视频转换的深度图生成方法及装置，其中方法包括以下步骤：步骤1：逐帧处理2D视频，得到原始的视频帧序列；步骤2：采用高斯背景建模法和背景减除法处理步骤1中的视频帧序列，得到前景图像和背景图像；步骤3：采用光流法获取步骤2中的前景图像中的运动矢量，并根据运动矢量与深度的关系，得到前景深度图；步骤4：采用几何透视法，通过提取背景图像的灭线和灭点来对步骤2中的背景图像进行深度赋值，得到背景深度图；步骤5：采用深度融合方法融合步骤3中的前景深度图和步骤4中的背景深度图，得到融合深度图。上述方法不仅提高了深度图的质量，而且使用范围更广。

技术领域

本发明属于视频、多媒体信号处理技术领域，具体涉及一种用于2D-3D视频转换的深度图生成方法及装置。

背景技术

随着今年计算机技术与通信技术的迅猛发展，科学技术的日新月异给人们的生活带来了翻天覆地的变化，在通信技术方面，3D立体视频由于传达的画面层次分明，色彩艳丽，其中事物既能飘逸于外，又能深藏其中，具有强烈的空间感的特点深受人们追捧，一洗多年来传统2D电视平面画给人造成的视觉疲惫，给人们带来了无与伦比的视觉享受和强大的视觉冲击，因此将2D视频转换成3D视频对视频的发展与传播有重要的意义。

2D-3D视频转换的一个最重要的环节问题是深度图的生成。深度图生成方法可分为人工、全自动和半自动三类。1)人工生成深度图的方法需要对二维视频中每一帧进行分割，然后对每一个分割块分配深度值，采用人工的方法得到的深度图具有很高的精确性，但是需要消耗大量的人力和时间成本，不便于大规模三维视频生成的实现。2)利用多幅图像全自动的深度图生成算法的原理是将运动矢量转换为深度图，这种转换依据的假设是运动快的物体距离摄像机近，运动慢的物体距离摄像机远；这种基于运动信息的深度估计方法得到的深度图总体质量因在使用中值滤波得到平滑的图像效果时丢失了一些图像信息，因此效果相对较差；而且虽然此方法能得到较为丰富的深度信息，但是计算量大，转换的时间消耗较大，不利于实时转换。3)半自动深度图生成算法的基本原理是将视频按照场景内容分为几个视频片段，将片段之间的边缘帧设为关键帧，两个关键帧之间的帧设为非关键帧。

鉴于此，本发明提供了一种用于2D-3D视频转换的深度图生成方法及装置。

发明内容

本发明的目的在于提供一种用于2D-3D视频转换的深度图生成方法及装置，以解决现有技术中深度图生成方法局限性较大而不能广泛应用的问题。

本发明提供的用于2D-3D视频转换的深度图生成方法，包括以下步骤：步骤1：逐帧处理2D视频，得到原始的视频帧序列；步骤2：采用高斯背景建模法和背景减除法处理视频帧序列，得到前景图像和背景图像；步骤3：采用光流法获取前景图像中的运动矢量，并根据运动矢量与深度的关系，得到前景深度图；步骤4：采用几何透视法，通过提取背景图像的灭线和灭点来对背景图像进行深度赋值，得到背景深度图；步骤5：采用深度融合方法融合前景深度图和背景深度图，得到融合深度图。

如上所述的用于2D-3D视频转换的深度图生成方法，进一步优选为，步骤2具体包括：步骤2.1：基于视频帧序列中当前帧的每个像素点的均值和方差计算背景更新率，并基于背景更新率初步分离背景像素点和前景像素点，得到前景分离图像和背景分离图像；步骤2.2：对背景分离图像进行高斯背景重建，得到背景图像；步骤2.3：获取背景图像与原始的视频帧的差分图像，所述差分图像的二值化图像为前景图像。

如上所述的用于2D-3D视频转换的深度图生成方法，进一步优选为，步骤2.1中，背景更新率的计算公式为：

其中，p为背景变化率，μ为原始视频帧中像素点的均值，d为原始视频帧中像素点的方差，e为自然常数，x为原始视频帧中像素点的横坐标。

如上所述的用于2D-3D视频转换的深度图生成方法，进一步优选为，步骤2.2中，基于下列公式进行高斯背景重建，具体的，重建公式为：