[发明专利]使用自适应联合双边滤波器生成稠密深度图的设备和方法

说明书

技术领域

本发明的实施例一般涉及深度图生成，更具体地涉及使用自适应联合双边滤波器生成稠密深度图的设备和方法。

背景技术

一般地，双边滤波器被用于图像处理以提供图像的保持边缘的平滑。双边滤波器提供图像的域(domain)滤波和范围(range)滤波两者以平滑图像内容，而仍维持图像内对象的边缘。但是，由于双边滤波涉及通过在大片邻居像素上估计像素值的加权和来更新像素值，因此这种滤波需要相当大的计算资源和长时间来完成计算。

此外，深度图表示相对于给定的焦平面的图像中的深度。焦平面通常位于图像的主要物体上，但是该平面(即当任意选择时的基准平面)可以位于场景内的任意位置。深度图则将相对于该平面的对象距离表示为正或负值，值的大小表示离平面的距离，符号表示对象位于基准平面之前还是之后。深度图通常是使用诸如激光或超声测距仪之类的测距技术以及诸如视差处理之类的成像技术来创建的。深度图可使用联合双边滤波来增强。联合双边滤波的目的是既通过平坦区域中深度值的平滑来去除反常深度值又改进深度图的空间分辨率和深度分辨率。一般地，双边滤波比较慢，并且现有的优化处理的方法采用大量额外存储器，或者采用可能产生错误结果的近似。

某些图像处理技术利用深度图来增强图像处理结果。例如，深度图在前景/背景分解、面部识别、对象跟踪等方面有用。深度图提供能够用于将图像分解成与其在图像内的深度有关的组成成分的深度信息。然而，使用低分辨率深度图来进行图像处理导致处理的精度和质量的严重损失。

因此，存在对用于高效地生成稠密深度图的设备和方法的需要。

发明内容

实施例一般包括用于生成稠密深度图的设备和方法。在一个实施例中，该方法包括将联合双边滤波器应用于第一深度图以生成第二深度图，其中联合双边滤波器的至少一个滤波器权重基于由第一深度图表示的图像的内容来适配，并且其中第二深度图具有比第一深度图更高的分辨率。

注释

DL_i，j：较低分辨率深度图中坐标(i，j)的像素的深度值

DH_i，j：较高分辨率深度图中坐标(i，j)的像素的深度值

X，Y：较高分辨率深度图中当前像素的坐标

i，j：较低分辨率深度图中细化窗口中的像素的坐标

IH_X，Y：来自较高分辨率图像的当前像素(X，Y)的像素强度

IL_i，j：来自较低分辨率图像的像素(i，j)的强度

WD_{X，Y，i，j}：基于像素(X，Y)和像素(i，j)之间的距离的权重

DD_{X，Y，i，j}：像素(X，Y)和像素(i，j)之间的距离项

DI_{X，Y，i，j}：用于像素(X，Y)和像素(i，j)之间的强度差的差项

WI_{X，Y，i，j}：基于像素(X，Y)和像素(i，j)之间的强度差的权重

L_{X，Y，i，j}：像素(X，Y)和像素(i，j)之间的强度差

M：用于第一细化方法的尺寸调整因子

N：用于第二细化方法的尺寸调整因子

P：将图像带入深度图的分辨率的尺寸调整因子

hs1：用于第一细化方法的细化窗口的一半尺寸

hs2：用于第二细化方法的细化窗口的一半尺寸

附图说明

所以，上面概述的发明的更具体描述、本发明的上述特征能够被详细理解的方式可参考实施例来获得，其中某些实施例在附图中示出。然而注意，附图仅例示了发明的典型实施例，因此不应理解为限制其范围，因为发明可承认其他等效实施例。

图1是根据一个或多个实施例的使用自适应双边滤波器来生成稠密深度图的系统的框图。

图2是表示根据一个实施例的深度图细化方法的功能框图。

图3是例示了根据一个实施例的用于处理深度图以生成稠密深度图的方法的流程图。

图4是例示了根据一个实施例的第一细化方法的流程图。

图5是例示了根据实施例的用于第一均匀性(uniformity)测试的方法的流程图。

图6是表示根据实施例的在第一细化方法中使用的子采样图像的功能框图。

图7是例示了根据一个实施例的第二细化方法的流程图。