[发明专利]生成深度图的方法和设备

权利要求书

1.一种生成深度图的设备，包括：

图像拾取装置，从输入的视频中获得时间上连续的多个2D图像；

3D结构匹配模块，计算所述多个2D图像中当前2D图像与多个在该3D结构匹配模块中预先存储的3D典型结构的每一个的匹配度，并将具有最高匹配度的3D典型结构确定为当前2D图像的3D结构；

基于匹配的深度图生成模块，预先存储所述3D典型结构的深度图，并将被确定为当前2D图像的3D结构的3D典型结构的深度图作为与当前2D图像相应的基于匹配的深度图，所述基于匹配的深度图中的每个像素表示当前2D图像中的相应像素的基于匹配的深度值。

2.如权利要求1所述的设备，其中，所述基于匹配的深度值在[0，1]范围内，0表示相应像素具有最大的深度，1表示相应像素具有最小的深度。

3.如权利要求1所述的设备，其中，所述3D结构匹配模块还包括：

平面分割模块，将当前2D图像分割成与进行匹配的3D典型结构中的平面相应的至少一个区域；

匹配度计算模块，根据每个所述区域中的特征的分布来计算每个所述区域的密度；计算每个所述区域中的特征的平均值，并根据所述平均值之间的差的范数来计算两两区域间的相似性；根据每个所述区域的密度和所述两两区域间的相似性的和来计算匹配度；

3D结构确定模块，根据所述匹配度，将具有最高匹配度的3D典型结构确定为当前2D图像的3D结构。

4.如权利要求3所述的设备，其中，匹配度计算模块根据来计算每个所述区域r的密度，其中，p是所述区域中的像素，I(p)是像素p的特征值，是所述区域中所有像素的特征值的平均值，area(r)是所述区域中像素的数量。

5.如权利要求3所述的设备，其中，匹配度计算模块根据来计算区域ri和区域rj间的相似性，其中，是所述区域中的特征的平均值，|.|是范数。

6.如权利要求3、权利要求4或权利要求5所述的设备，其中，所述特征是颜色、梯度或边缘。

7.如权利要求5所述的设备，其中，所述范数是1-范数、2-范数或∞范数。

8.一种生成深度图的设备，包括：

图像拾取装置，从输入的视频中获得时间上连续的多个2D图像；

显著性图生成模块，根据HVP模型生成与所述多个2D图像中当前2D图像相应的至少一个显著性图，所述显著性图的每个像素表示当前2D图像中的相应像素的显著性；

基于显著性的深度图生成模块，使用所述至少一个显著性图生成与当前2D图像相应的基于显著性的深度图，所述基于显著性的深度图的每个像素表示当前2D图像中的相应像素的基于显著性的深度值；

3D结构匹配模块，计算所述多个2D图像中当前2D图像与多个在该3D结构匹配模块中预先存储的3D典型结构的每一个的匹配度，并将具有最高匹配度的3D典型结构确定为当前2D图像的3D结构；

基于匹配的深度图生成模块，预先存储所述3D典型结构的深度图，并将被确定为当前2D图像的3D结构的3D典型结构的深度图作为与当前2D图像相应的基于匹配的深度图，所述基于匹配的深度图中的每个像素表示当前2D图像中的相应像素的基于匹配的深度值；

综合深度图生成模块，将基于显著性的深度图和基于匹配的深度图进行结合以生成综合深度图，所述综合深度图中的每个像素表示当前2D图像中的相应像素的综合深度值。

9.如权利要求8所述的设备，其中，所述显著性图生成模块包括：

特征显著性图生成模块，通过识别当前2D图像中的特征来生成特征显著性图；

运动显著性图生成模块，通过识别当前2D图像和与当前2D图像在时间上相邻的2D图像之间的运动来生成运动显著性图；

对象显著性图生成模块，通过识别当前2D图像中的对象来生成对象显著性图；

显著性图控制模块，使用特征显著性图生成模块、运动显著性图生成模块和对象显著性图生成模块中的一个、任意两个或全部，以生成一个、任意两个或全部显著性图。