[发明专利]用于为图像确定深度图的方法和装置

说明书

一种用于为场景的图像确定深度图的装置包括：用于为所述图像确定深度图的主动式深度传感器（103）和被动式深度传感器（105）。该装置还包括光确定器（109），其确定指示对于场景的光特性的光指示。该光指示可以具体地反映该场景的可见光水平和/或红外光水平。深度图处理器（107）通过组合所述第一深度图和所述第二深度图来为所述图像确定输出深度图。具体地，将所述输出深度图的深度值确定为所述第一深度图和所述第二深度图的深度值的组合，其中组合取决于光指示。光确定器（109）根据指示可见光谱的频带中的光水平的可见光指示来估计第一红外光指示。

技术领域

本发明涉及用于为图像确定深度图的方法和装置，尤其涉及基于多个深度传感器来确定深度图。

背景技术

近年来，三维图像渲染和处理已经变得越来越普遍。这在很大程度上是由于三维（3D）显示器的发展，其通过向观看者的双眼提供正被观看的场景的不同视图而向观看体验添加第三维度。这可以通过让用户佩戴眼镜以分离所显示的两个视图来实现。然而，由于这可能被认为对用户不方便，所以在许多情形中优选的是使用自动立体显示器，其使用显示器处的装置（例如柱状透镜或屏障）来分离视图并且在不同方向上发送它们，它们可以在这些方向上各自地到达用户眼睛。对于立体显示器，需要两个视图，而自动立体显示器通常需要更多视图（诸如举例而言，九个视图）。

所呈现的三维图像的质量取决于所接收图像数据的质量，并且具体地，三维感知取决于所接收深度信息的质量。

三维图像信息经常由与场景的不同观看方向相对应的多个图像提供。具体地，诸如电影或电视节目的视频内容越来越多地被生成为包括一些3D信息。这样的信息可以使用专用3D摄像机捕获，专用3D摄像机从稍微偏移（offset）的摄像机位置捕获两个同时图像。

然而，在许多应用中，提供的图像可能不直接对应于期望的方向，或者可能需要更多图像。例如，对于自动立体显示器，需要多于两个图像，并且实际上经常使用9–26个视图图像。

为了生成与不同观看方向相对应的图像，可以采用视点移位（shift）处理。典型地，这通过视图移位算法来执行，该视图移位算法将针对单个观看方向的图像与相关联的深度信息一起使用。然而，为了在没有显著伪影的情况下生成新视图图像，所提供的深度信息必须足够准确。

不幸的是，在许多应用和使用情形中，深度信息可能不如期望的那么准确。

尽管基于常规二维图像的三维成像通过使用各种深度估计技术或许是可能的，但这些深度估计技术往往复杂且不准确、并且经常需要大量的人力投入。然而，越来越多的是，在内容被捕获时，深度信息也被捕获。例如，当拍摄场景或录制场景视频时，还记录深度，以便生成既反映可见图像又反映深度的组合输出。

典型地，使用被布置为估计场景的深度特性的深度传感器来执行深度的这样的捕获。各种深度传感器是已知的。

常用的途径是使用立体摄像机形式的被动式深度传感器（passive depthsensor）。这样的立体摄像机可以简单地记录与两个略微不同的观看方向相对应的两个图像。以这种方式，三维场景可以使用位于略微不同的位置处的两个摄像机被捕获为立体图像。然后可以通过估计两个图像中的对应图像对象之间的视差（disparity）来生成具体的深度值。

另一种途径是使用主动式深度传感器（active depth sensor）。具体地，主动式深度传感器是已知的，其包括红外光发射器，该红外光发射器在被记录的场景上投射红外光图案。红外摄像机然后可以捕获红外图像并检测预期图案中的失真。深度传感器可以基于这些失真生成深度信息。

在又一示例中，主动式深度传感器可以包括在不同方向上发射红外光的光发射器。在不同方向上反射的光的到达时间可以被检测并用于导出深度信息。