[发明专利]图像的深度图的生成

说明书

技术领域

本发明涉及图像的深度图的生成，并且特别地但是非排他地涉及使用双边滤波生成深度图。

背景技术

三维显示器受到越来越多的关注，并且进行了在如何向观看者提供三维感知方面的大量研究。三维（3D）显示器通过向观看者的两个眼睛提供正被观看的场景的不同视图来将第三维度添加到观看体验中。这可通过使用户佩戴眼镜以分离被显示的两个视图来实现。然而，因为这可能被认为对用户不便，所以在很多情形中优选使用自动立体显示器，其使用在显示器处的组件（例如双凸透镜或屏障）来分离视图，并且在其中它们可以单独地到达用户眼睛的不同方向上发送它们。对于立体显示器，要求两个视图，而自动立体显示器通常要求更多视图（诸如例如九个视图）。

作为另一示例，可通过实施运动视差（parallax）功能的常规二维显示器来实现3D效果。这样的显示器追踪用户的运动并且相应地适配呈现的图像。在3D环境中，观看者头部的运动导致靠近物体的相对大量的相对透视运动，而进一步后面的物体将逐步较少地运动，并且实际上在无限深度处的对象将不运动。因此，通过取决于观看者的头部运动在二维显示器上提供不同图像对象的相对运动可实现可感知的3D效果。

为了满足对3D图像效果的期望，内容被建立以包括描述所捕捉的场景的3D方面的数据。例如，对于计算机生成的图形，可开发和使用三维模型来根据给定观看位置计算图像。这样的方法例如被频繁用于提供三维效果的计算机游戏。

作为另一示例，诸如电影或电视节目之类的视频内容被越来越多地产生以包括一些3D信息。可使用从轻微偏移的摄像机位置捕捉两个同时发生的图像的专用3D摄像机来捕捉这样的信息。在一些情况下，可从进一步偏移的位置捕捉更多同时发生的图像。例如，可使用相对于彼此偏移的九个摄像机来生成对应于九观看锥自动立体显示器的九个视点的图像。

然而，显著的问题是附加信息导致数量实质增加的数据，这对于视频数据的分发、通信、处理和存储是不实际的。因此，对3D信息的有效编码是关键的。因此，已开发了高效的3D图像和视频编码格式，其可实质减小所要求的数据速率。

用于表示三维图像的流行方法是使用一个或多个分层的二维图像加上相关联的深度数据。例如，可使用具有相关联的深度信息的前景和背景图像来表示三维场景或可使用单个图像和相关联的深度图。

编码格式允许对直接编码的图像的高质量渲染，即它们允许对与图像数据被编码所针对的视点对应的图像的高质量渲染。编码格式还允许图像处理单元生成针对相对于所捕捉的图像的视点而被移动的视点的图像。类似地，可以基于与图像数据一起提供的深度信息而在图像（或多个图像）中将图像对象进行移位。另外，可以使用遮蔽信息（如果这样的信息可获得的话）填充未由图像表示的区。

然而，鉴于使用具有提供深度信息的相关联的深度图的一个或多个图像对3D场景的编码允许非常高效的表示，得到的三维体验高度取决于由（多个）深度图提供的足够精确的深度信息。

可使用各种方法来生成深度图。例如，如果提供对应于不同观看角度的两个图像，则可在两个图像中标识匹配的图像区域，并且可通过在这些区域的位置之间的相对偏移来估计深度。因此，可应用算法来估计两个图像之间的像差（disparity），该像差直接指示对应对象的深度。匹配区域的检测可例如基于跨这两个图像的图像区域的互相关。

然而，很多深度图的问题，特别是由多个图像中的像差估计所生成的深度图的问题在于它们往往不如期望的那样在空间上和时间上稳定。例如，对于视频序列，跨连续图像的小变化和图像噪声可能导致算法生成在时间上有噪声并且不稳定的深度图。类似地，图像噪声（或处理噪声）可能导致深度图变化以及单个深度图内的噪声。

为了解决这样的问题，已提出了进一步处理所生成的深度图以增大空间和/或时间稳定性并且减小深度图中的噪声。例如，可将滤波或边缘平滑或增强应用到深度图。然而，这样的方法的问题在于后处理不理想并且本身通常引入劣化、噪声和/或伪影。例如，在交叉双边滤波中，将存在到深度图内的一些信号（亮度）泄漏。尽管明显的伪影可能不是立即可见的，但是对于较长期观看来说，这些伪影将通常仍然导致眼睛疲劳。

因此，改进的深度图生成将是有利的，并且特别地，允许增大的灵活性、减小的复杂度、便利的实施、改进的时间和/或空间稳定性和/或改进的性能的方法将是有利的。

发明内容

因此，本发明力图单个地或以任何组合地优选减轻、缓和或消除上文提到的缺点中的一个或多个。