[发明专利]一种提取及优化图像深度图的方法与装置

说明书

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种提取及优化图像深度图的方法与装置。

背景技术

三维立体显示技术最近几年高速发展，三维终端显示设备(Three Dimensions，3D)如，3D电视，3D游戏机等的迅速崛起已成为科技发展的必然结果。由于3D片源资源稀少、造价昂贵，所以由普通的二维(Two Dimensions，2D)视频帧序列转换成3D视频帧序列的2D转3D技术已成为三维立体显示技术中的热点领域。

在2D转3D技术中，重点和难点是2D视频图像深度图的提取。深度图的物理意义是：2D视频帧序列中不同画面内容离观看者的远近程度，是构成3D视差图像最主要的信息来源。目前提取深度图的方法和手段各种各样，主要包括基于物体轮廓提取物体的深度信息、基于图像的颜色分割提取深度图、基于虚拟空间交点提取深度图、基于物体的运动矢量提取深度图以及基于关键帧半自动提取深度图等。但是这些众多提取深度图的技术大多都存在严重的缺陷，要么深度图模糊不清晰、要么计算量太大、要么人工干扰因素太多等等，这样就很难达到3D终端显示设备的显示需求。

现有技术提供了一种生成二维视频序列深度图的方法，如图1所示，该方法首先选取视频帧序列中的关键帧，并人工生成关键帧的深度图，然后匹配估计视频连续帧特征点之间的运动位移，根据关键帧深度图及运动位移得出当前帧的深度图。该文献介绍的这种方法在一定程度上可以提取当前帧深度图，但是这种方法需要人工选取和计算关键帧的深度图，不利于深度图的全自动化生成，进而难以在工业领域推广；还有一点是在进行匹配估计的时候很容易造成匹配错误，进而深度图信息也会造成匹配误差，这样提取的深度图往往轮廓模糊、深度信息凹凸不均衡。

发明内容

本发明的目的是为了解决现有技术的需人工选取并提取关键帧的深度图，造成提取的深度图精度低，出现误差的问题，提供了一种提取及优化图像深度图的方法与装置。

在第一方面，本发明实施例提供了一种提取及优化图像深度图的方法，所述方法包括：获取当前源图像和所述当前源图像中每个像素点的场景相关度，所述当前源图像为当前视频连续帧序列；

对所述当前源图像连续下采样，获取当前每个下采样源图像中每个像素点的场景相关度；

将所述当前下采样源图像中每个像素点与之前下采样源图像中相对应的像素点进行块匹配运动矢量计算，获取所述当前下采样源图像中每个像素点的运动矢量值；

分别累加所述当前下采样源图像中每个像素点的运动矢量值，从运动矢量累加和中提取每个像素点的初始深度值，所述初始深度值构成源图像初始深度图；

利用所述源图像中每个像素点的场景相关度和所述每个下采样源图像中每个像素点的场景相关度对所述初始深度图中每个像素点进行连续超平滑滤波处理和上采样处理，获取所述源图像深度图。

在第二方面，本发明实施例提供了一种提取及优化图像深度图的装置，所述装置包括：第一获取单元，用于获取当前源图像和所述当前源图像中每个像素点的场景相关度，所述当前源图像为当前视频连续帧序列；

第二获取单元，用于对所述当前源图像连续下采样，获取当前每个下采样源图像中每个像素点的场景相关度；

第三获取单元，用于将所述当前下采样源图像中每个像素点与之前下采样源图像中相对应的像素点进行块匹配运动矢量计算，获取所述当前下采样源图像中每个像素点的运动矢量值；

计算单元，用于分别累加所述当前下采样源图像中每个像素点的运动矢量值，从运动矢量累加和中提取每个像素点的初始深度值，所述初始深度值构成源图像初始深度图；

第一处理单元，用于利用所述源图像中每个像素点的场景相关度和所述每个下采样源图像中每个像素点的场景相关度对所述初始深度图中每个像素点进行连续超平滑滤波处理和上采样处理，获取所述源图像深度图。

通过应用本发明实施例公开的方法和装置，在不同下采样阶段求出相应的场景相关度，通过运动矢量累加和提取初始深度图，利用不同采样阶段的场景相关度对初始深度图进行迭代超平滑处理，最终生成源图像深度图，提高了深度图的图像质量，让深度图轮廓更加清晰，同时本方法也让整个过程的计算开销保持在合理范围之内。

附图说明

图1为现有技术提取深度图流程图；

图2为本发明实施例公开的深度图提取及优化的方法流程图；

图3为本发明实施例当前源图像示意图；

图4为本发明实施例计算任一像素点场景相关度的示意图；

图5为本发明实施例计算边界上任一像素点场景相关度的示意图；