[发明专利]景深图像重聚焦

说明书

一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述图像的深度信息的图生成重聚焦图像：对于与所述图像内相应深度关联的多个平面中的每个平面：生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；根据所述输入图像和所述生成的深度掩码生成掩码图像；使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；根据所述多个重聚焦的分图像生成所述重聚焦图像。

技术领域

本发明涉及执行图像重聚焦。一些方面涉及训练执行输入图像的重聚焦的图像处理模型。

背景技术

图像的景深(depth of field，DOF)是指所有对象都清晰(对焦)的深度范围。例如，浅DOF图像可用于将对象与其背景分离，通常用于人像和微距摄影。

图像的景深部分取决于用于捕获图像的设备的孔径大小。因此，一些具有窄孔径的图像处理设备(如智能手机)通常无法光学呈现浅景深图像，而是基本上捕获全焦图像。

然而，通过合适的数字图像处理技术，可以通过重聚焦数字图像来模拟或合成浅景深效果。一些以计算方式重聚焦数字图像的方法利用了图像的深度信息。图1示出了如何以计算方式重聚焦输入数字图像的示例。

图1示出了全焦图像101。103处示出了包含图像101的深度信息的图。在该示例中，图是视差图，但在其它示例中，它可以是深度图。视差图对表示公共场景的一对(通常是立体)图像的块之间的空间移位进行编码。当所述一对图像由两个空间分离的摄像机捕获时，场景中的一个点投影到每个图像内的不同块位置。这些不同块位置之间的坐标移位是视差。因此，视差图中的每个块对一对图像表示的场景的一部分之间的空间移位进行编码。视差图的块对一对图像中一个图像中的并置块表示的场景的一部分与一对图像中另一个图像表示的场景的所述一部分之间的坐标移位进行编码。视差图的所述块的视差值表示校正图像域中的坐标移位。

块是指图的一个或多个像素的块。与距离图像平面深度较浅的场景部分相比，距离图像平面深度较深的场景部分在一对图像之间的块位移相对较小。因此，视差图的值通常与对应深度图的深度值成反比。

根据输入图像101和图103，重聚焦图像105和107可以通过以计算方式重聚焦图像101来生成。在图像105中，背景通过重聚焦而模糊，前景保持聚焦；在图像107中，前景通过重聚焦而模糊，背景保持聚焦。

发明内容

发明内容介绍了一些概念，在具体实施方式中会进一步描述这些概念。发明内容并非旨在确定所要求保护的主题的关键特征或必要特征，也并非旨在用于限制所要求保护的主题的范围。

根据一个方面，提供了一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述输入图像的深度信息的图生成重聚焦图像：对于与所述图像内相应深度关联的多个平面中的每个平面：生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；根据所述输入图像和所述生成的深度掩码生成掩码图像；使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；根据所述多个重聚焦的分图像生成所述重聚焦图像。

这使得可以执行可微的重聚焦步骤，从而允许重聚焦步骤作为可学习流水线内的层实现。

多个平面可以定义深度范围，并且输入图像可以具有跨越多个平面的深度范围的景深。这可以使浅景深图像重聚焦。

指示所述图像的深度信息的所述图可以是视差图，并且所述多个平面中的每个平面可以是处于相应视差值的平面；或者(ii)指示所述图像的深度信息的所述图可以是深度图，并且所述多个平面中的每个平面可以是处于相应深度处的平面。这使得可以在重聚焦阶段灵活使用深度图或视差图。