[发明专利]生成深度图的方法和设备

说明书

技术领域

本发明涉及一种生成深度图的方法和设备，尤其涉及一种从普通视频中自动生成与视频中每幅2D图像相应的深度图的方法及其设备。

背景技术

最近，在研究领域和商业市场上，三维(3D)电视都是一个热点问题。3D电视与传统的二维(2D)电视的不同在于它可显示立体视频。观众可感受到如同观看真实的3D场景一样的深度效果。这种效果所基于的技术理论是人类的双眼视觉模型。人类利用双眼来观看真实世界，当观看3D场景时，双眼中的图像是不同的。通过独立地投影到人的左眼和右眼的两副不同的图像，人类可以在脑海中重建3D场景。

但是目前大部分现有的媒体内容(电影、视频)和图像获取装置(数字相机、数字摄像机)仍然基于一个相机的单视图系统。如果将这些媒体内容直接显示在3D电视上，则不能示出3D效果。为了将这些媒体内容转换为3D视频，一种解决方法是雇佣很多工作人员来手工地标注视频中每个区域的深度。这种转换结果会非常令人满意，但缺点也是很明显的，就是需要很多的人力。

目前已经有一些解决这个问题的方法，但都存在不能应用于普通的视频序列的限制。例如，一些方法提供了需要人机交互的深度标注系统，但是这些方法不能完全地无人监督的应用于3D电视，而是需要用户输入，并且也不是实时的。还有一些方法基于图像中的对象进行水平运动并且背景是静止的假设使用运动视差来仿真立体视差，而这些假设在普通的视频中并不是真实的，所以这些方法能处理的视频类型有限。

发明内容

本发明提供一种完全自动的、不需要用户输入的，并且可处理任何类型的视频(包括静止图像序列)的方法及其设备。

根据本发明的一方面，提供一种生成深度图的设备包括：图像拾取装置，从输入的视频中获得时间上连续的多个2D图像；3D结构匹配模块，计算所述多个2D图像中当前2D图像与多个在该3D结构匹配模块中预先存储的3D典型结构的每一个的匹配度，并将具有最高匹配度的3D典型结构确定为当前2D图像的3D结构；基于匹配的深度图生成模块，预先存储所述3D典型结构的深度图，并将被确定为当前2D图像的3D结构的3D典型结构的深度图作为与当前2D图像相应的基于匹配的深度图，所述基于匹配的深度图中的每个像素表示当前2D图像中的相应像素的基于匹配的深度值。

所述基于匹配的深度值在[0，1]范围内，0表示相应像素具有最大的深度，1表示相应像素具有最小的深度。

所述3D结构匹配模块还包括：平面分割模块，将当前2D图像分割成与进行匹配的3D典型结构中的平面相应的至少一个区域；匹配度计算模块，根据每个所述区域中的特征的分布来计算每个所述区域的密度；计算每个所述区域中的特征的平均值，并根据所述平均值之间的差的范数来计算两两区域间的相似性；根据每个所述区域的密度和所述两两区域间的相似性的和来计算匹配度；3D结构确定模块，根据所述匹配度，将具有最高匹配度的3D典型结构确定为当前2D图像的3D结构。

匹配度计算模块根据来计算每个所述区域r的密度，其中，p是所述区域中的像素，I(p)是像素p的特征值，是所述区域中所有像素的特征值的平均值，area(r)是所述区域中像素的数量。

匹配度计算模块根据来计算区域ri和区域rj间的相似性，其中，是所述区域中的特征的平均值，|.|是范数。

所述特征是颜色、梯度或边缘。

所述范数是1-范数、2-范数或∞范数。