[发明专利]一种基于融合深度线索的全自动二维转三维方法和装置

说明书

技术领域

本发明涉及一种二维到三维视频的全自动转换技术，属于图像、多媒体信号处理技术领域。

背景技术

随着3D显示技术的发展与3D显示设备的普及，3D视频内容短缺的问题凸现出来。使用现有的3D拍摄系统拍摄3D内容由于需要消耗大量的人力物力而无法快速普及。近些年来，2D转3D技术逐渐兴起并成为研究热点，通过将现有的海量2D视频内容转换为3D内容，能够有效地解决3D视频内容短缺的问题，并且能够促进3D技术的进一步发展。

现有的2D转3D技术按照人工参与程度分为以下三个种类：人工、半自动和全自动。人工的方法是对图像上不同的区域或者物体选择不同的深度值来对像素进行水平偏移，但是这需要耗费大量的人力和物力。半自动的2D转3D需要少量的人工手动修正。尽管这种方法和手动方法相比已经减少了人力的耗费，但是仍旧需要大量的人工工作。要将大量的2D视频以最经济的方式转换为3D视频，全自动的方法无疑是最受好评的方法。

最常用的全自动的2D到3D视频转换的框架基本上包括两部分：深度信息的提取和根据已估计的深度信息和已知的视觉条件合成立体视图。人通过左右眼的视差分辨出事物的远近，从而产生立体感觉，事物的远近程度用深度信息来表示。在3D图像处理领域，深度信息用灰度值来表示，整幅图像的深度信息组成了一幅灰度图，也就是深度图。在人类视觉系统中，感知深度信息的线索很多，被称之为深度线索。除了双眼感知到的深度线索，从单眼也能够感知到深度，这类线索被称为单眼深度线索。在将二维图像转换为三维图像的过程中，提取深度线索的依据常常是单眼深度线索。最重要的单眼深度线索有运动视差、图形线索(纹理，亮度等)、几何模型等。

运动视差这种深度线索是一种多帧的深度线索，利用了摄像机与场景的相对运动关系。当摄像机移动时，前后连续帧场景中物体运动幅度越大，则离摄像机越近，反之则越远。跟踪场景的运动需要利用运动估计的方法，通过运动估计来获得物体的运动幅度。运动估计的方法有很多种类，根据估计的精度不同可以分为基于块、基于像素和基于亚像素的运动估计，其中基于像素的运动估计能够利用较低的运动复杂度获得精度相对较高的运动向量。

利用色彩线索能够估计边缘和颜色域的深度信息。二维图像物体的边缘往往也是深度图像物体的边缘；从颜色域上考虑，在自然场景中，高亮度的物体给人的感觉比低亮度的物体给人的感觉更近一些，红色等暖色给人的感觉要比蓝色等冷色给人的感觉近一些。因此，色彩线索也能作为深度提取的重要依据。YCbCr彩色空间广泛应用于数字视频，亮度信息用分量Y表示，彩色信息用两个色差分量Cb和Cr来存储，其中Cr指的红色色度分量。在应用上很广泛，JPEG、MPEG、DVD、摄影机、数字电视等皆采此一格式。

现有的全自动2D转3D的方法大多利用单个深度线索提取深度，无法获得准确的深度信息，导致最终无法获得舒适的立体视觉效果。运动视差虽然被称为最可靠的深度线索，但是无法用来估计静止物体的深度。利用几何透视来分配深度，几何模型往往不具有普适性，无法匹配所有几何场景。而色彩线索往往由经验得出，对场景的要求更高，准确性无法保证。现有的很多由2D转3D获得的3D视频内容很多都是由简单的全自动的转换方法获得的“伪”3D内容，以此达到快速提高市场占有率的作用，虽然能够让消费者获得立体视觉体验，却无法提供舒适的视觉效果。然而，如果将多种深度线索以适当的方式融合来获取深度图，就能利用多种深度线索的优势来获得更准确的深度信息，从而合成质量更高的三维视图。

发明内容

本发明针对当前全自动2D转3D系统提取深度信息不准确，立体感受不舒适等缺点，提出了一种融合运动视差和Cr色度分量两种深度线索的全自动2D到3D的转换方法和装置。本发明将运动视差和Cr色度分量两种深度线索以适当的方式融合起来作为提取深度信息的依据，充分利用了两种深度线索的优势，使提取的深度图适用于更多的场景条件，更加准确。用户利用本装置根据对视频场景的主观感受进行简单的参数设置就可以对二维的图片序列或者视频进行深度图的提取，并能够合成三维立体视频。

本发明采用的技术方案为：

一种基于融合深度线索的全自动2D转3D方法，根据运动视差和Cr色度分量两种深度线索的适当组合提取深度图，然后利用基于深度图的渲染(DIBR)技术合成立体视图，其特征在于：利用光流的方法计算运动向量，将运动向量量化为深度值；同时利用原始二维图像的Cr色度分量提取深度信息；最后将两种深度值根据人工设置的权重进行加权，从而获得融合的深度图。具体步骤如下：