[发明专利]景深图像重聚焦

权利要求书

1.一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述输入图像的深度信息的图生成重聚焦图像：

对于与所述图像内相应深度关联的多个平面中的每个平面：

生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；

根据所述输入图像和所述生成的深度掩码生成掩码图像；

使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；

根据所述多个重聚焦的分图像生成所述重聚焦图像。

2.根据权利要求1所述的设备，其特征在于，所述多个平面定义深度范围，并且所述输入图像具有跨越所述多个平面的所述深度范围的景深。

3.根据权利要求1或2所述的设备，其特征在于：(i)指示所述图像的深度信息的所述图是视差图，并且所述多个平面中的每个平面是处于相应视差值的平面；或者(ii)指示所述图像的深度信息的所述图是深度图，并且所述多个平面中的每个平面是处于相应深度处的平面。

4.根据上述权利要求中任一项所述的设备，其特征在于，所述函数在定义函数值范围的下界与上界之间平滑变化，当正在评估所述函数的图像区域在所述平面的所述指定范围内时，所述函数具有在其范围的前半部分内的值；当正在评估所述函数的图像区域不在所述平面的所述指定范围内时，所述函数具有在其范围的后半部分内的值。

5.根据权利要求3或4所述的设备，其特征在于，评估所述可微函数以评估是否满足的条件，其中，D(x)是在所述输入图像的块x处图像区域的所述视差图或深度图的值，d′是所述平面的所述视差或深度，a是孔径的大小，当满足所述条件时，确定图像区域在所述平面的所述指定范围内；当不满足所述条件时，确定所述图像区域不在所述平面的所述指定范围内。

6.根据上述权利要求中任一项所述的方法，其特征在于，所述深度掩码为所述输入图像的一个或多个像素的每个块指定值。

7.根据上述权利要求中任一项所述的方法，其特征在于，所述模糊核是半径为所述孔径大小，以及所述平面与焦平面之间的深度或视差差值的函数的径向核。

8.根据上述权利要求中任一项所述的方法，其特征在于，所述生成的掩码图像仅包含所述输入图像中确定在所述平面的所述指定范围内的那些区域。

9.一种训练图像处理模型的方法，其特征在于，所述方法包括：

接收多个图像元组，每个图像元组包括表示公共场景的一对图像和所述场景的重聚焦的训练图像；

对于每个图像元组：

(i)使用所述图像处理模型处理所述一对图像，以估计指示所述场景的深度信息的图；

(ii)对于与所述图像内相应深度关联的多个平面中的每个平面：

生成深度掩码，所述深度掩码的值指示输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述估计图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；

根据所述输入图像和所述生成的深度掩码生成掩码图像；

使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；

(iii)根据所述多个重聚焦的分图像生成重聚焦图像；

(iv)估计所述生成的重聚焦图像与所述重聚焦的训练图像之间的差异；

(v)根据所述估计的差异调整所述图像处理模型。

10.根据权利要求9所述的方法，其特征在于，所述生成图与所述一对图像的分辨率相同，并且所述输入图像是所述一对图像中的一个图像。

11.根据权利要求9所述的方法，其特征在于，与所述一对图像相比，所述生成图具有降低的分辨率，并且所述输入图像形成为所述一对图像中的一个图像的分辨率降低图像。