[发明专利]图像处理装置和方法

权利要求书

1.一种图像处理装置(300)，用于根据包括第一低动态范围LDR图像和第二LDR图像在内的多个LDR图像生成高动态范围HDR图像，其中，所述第一LDR图像与第一视图和第一曝光相关，所述第二LDR图像与第二视图和第二曝光相关，其中，所述第一视图与所述第二视图不相同，所述第一曝光的曝光率低于所述第二曝光的曝光率，其特征在于，所述图像处理装置(300)包括：

处理单元(301)，用于提供神经网络，其中所述神经网络包括多个神经子网络，其中包含第一神经子网络(303)，所述第一神经子网络(303)用于根据以下内容生成所述HDR图像：(i)所述第一LDR图像，(ii)所述第二LDR图像，以及(iii)修改的第一LDR图像，其中所述修改的第一LDR图像与所述第一视图和所述第二曝光相关；

其中，所述多个神经子网络包括第二神经子网络(305)，用于根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光来生成所述修改的第一LDR图像。

2.根据权利要求1所述的图像处理装置(300)，其特征在于，所述多个LDR图像还包括与第三视图和第三曝光相关的第三LDR图像，所述第二神经子网络(305)包括第一部分(305a)和第二部分(305b)，其中

所述第二神经子网络(305)的所述第一部分(305a)用于：根据(i)所述第一LDR图像和(ii)所述第二LDR图像，通过将所述第一LDR图像映射到所述第二曝光来生成所述修改的第一LDR图像，以及

所述第二神经子网络(305)的所述第二部分(305b)用于：根据(i)所述第一LDR图像和(ii)所述第三LDR图像，通过将所述第一LDR图像映射到所述第三曝光来生成进一步修改的第一LDR图像，其中所述进一步修改的第一LDR图像与所述第一视图和所述第二曝光相关。

3.根据前述权利要求2所述的图像处理装置(300)，其特征在于，所述多个神经子网络包括第三神经子网络(307)，用于通过根据以下内容从所述HDR图像中去除重像伪影来提供所述HDR图像的改进版本：(i)所述第一LDR图像，(ii)所述第二LDR图像，(iii)所述修改的第一LDR图像，(iv)所述HDR图像，以及(v)去重影引导的HDR图像。

4.根据权利要求3所述的图像处理装置(300)，其特征在于，所述处理单元(301)还用于提供曝光融合单元(309)，用于基于(i)所述第一LDR图像和(ii)所述第二LDR图像，根据曝光融合方案生成所述去重影引导的HDR图像。

5.根据权利要求4所述的图像处理装置(300)，其特征在于，所述曝光融合单元(309)用于根据所述曝光融合方案，通过使用基于一个或多个质量度量的权重图执行(i)所述第一LDR图像和(ii)所述第二LDR图像的加权融合，来生成所述去重影引导的HDR图像。

6.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述多个神经子网络中的每一个包括一个或多个卷积层以及一个或多个去卷积层。

7.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述神经网络用于根据多个训练集进行训练，其中每个训练集包括一个HDR图像和多个LDR图像，并且至少部分训练集包括不止两个LDR图像。

8.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述第一神经子网络(303)还包括加权层，用于基于一个或多个质量度量生成权重图，以便在生成所述HDR图像时降低所述第一LDR图像和所述第二LDR图像的低质量区域的影响。

9.根据前述权利要求1-5中的任一项所述的图像处理装置(300)，其特征在于，所述处理单元(301)还用于根据参考图像选择的质量度量，从所述多个LDR图像中选择所述第一LDR图像作为参考图像。