[发明专利]一种基于深度学习的图像高动态范围重建方法

权利要求书

1.一种基于深度学习的图像高动态范围重建方法，其特征在于，包括以下步骤：

步骤1，基于深度学习的方法建立神经网络，该神经网络包括一个从低动态范围图像到高动态范围图像的生成网络与一个判别高动态网络图像是否真实的判别网络；

步骤2，对HDR数据集进行预处理以构成训练数据，数据预处理分为LDR数据的生成、HDR图像亮度单位的对齐和图像高光区域掩码的生成三个部分，预处理后得到的LDR数据作为生成网络的训练输入数据，输出为一张HDR图像和一张高光掩码图像，数据预处理后的对齐的HDR数据和高光掩码图像作为训练的样本标签数据，判别网络接受一张HDR图像与高光掩码图像作为输入，输出一张表征所输入的HDR图像为真实HDR图像或者是网络生成的虚假HDR图像的概率的特征图；

步骤3，基于三个损失函数训练神经网络，采用有监督学习的方式对神经网络进行训练，训练采用Adam优化器分别逐次对生成网络和判别网络进行反向传播优化，三个损失函数分别为HDR重建图像的尺度不变损失函数、高光区域分类的交叉熵损失函数和生成对抗损失函数，损失函数定义如下：

L_G＝α₁L_hdr+α₂L_mask+α₃L_gan

HDR重建图像的尺度不变损失函数，其定义如下：

其中y表示网络输出的HDR图像，为对齐后的HDR图像，表示在对数域中网络输出与样本标签的差值，∈为一个防止对数计算为零的微小值，下标l，c分别表示像素位置和颜色通道；

高光区域分类的交叉熵损失函数，其定义如下：

其中分别为网络预测值和标签值；

生成对抗损失函数，定义如下：

其中D(y)为判别网络以生成网络输出为输入的计算结果；

根据上述损失函数对网络进行训练，当损失函数收敛后，提取生成网络模型作为最终算法模型。

2.根据权利要求1所述的方法，其特征在于：所述低动态范围图像是指8位颜色深度、256色阶保存的低动态范围图像，所述高动态范围图像指以“.EXR”或“.HDR”格式保存的接近真实场景明暗变化的高动态范围图像。

3.根据权利要求1所述的方法，其特征在于：步骤1中所描述的神经网络包括生成网络和判别网络，其中生成网络为一个U-Net结构，网络接受一张LDR图像作为输入，经过由ResNet50模型构成的编码网络和6层“上采样+卷积层”模块构成解码网络后，分别输出一张HDR图像和高光掩码图像；所述判别网络为一个由4层卷积层构成的全卷积网络，该判别网络接受一张HDR图像与高光掩码图像作为输入，输出一张表征所输入的HDR图像为真实HDR图像或者是网络生成的虚假HDR图像的概率的特征图。

4.根据权利要求1所述的方法，其特征在于：步骤2中所描述的数据预处理，其具体过程包括：

步骤2.1，LDR数据的生成，生成LDR训练样本输入，对于每一张HDR图像，分别使用色调映射算法和虚拟相机拍摄获取LDR图像，选择一种适当的色调映射算法，直接将HDR图像作为算法输入得到对应的LDR图像输出；同时，通过构建虚拟相机来获取LDR图像，首先基于常用的数码单反相机确定虚拟相机动态范围的取值范围，对于每一次获取LDR图像都随机选取范围内的一个值作为该次模拟拍摄的相机的动态范围，然后虚拟相机根据输入的HDR图像进行自动曝光，对亮度超出虚拟相机动态范围的像素取边界值，再将其线性映射至LDR图像的低动态范围，最后，将所得到的图像从线性空间通过随机选择的近似相机响应函数映射为普通数字图像，得到所需要的LDR图像；

步骤2.2，HDR图像亮度单位的对齐，对于保存在相对亮度域的HDR图像，在将其作为训练样本标签前，对齐它们的亮度单位；设原始HDR图像为H，LDR图像转换到线性空间并归一化到[0，1]，设为L，H_l，c，L_l，c分别为图像在位置l，通道c处的像素值，其对齐方法为：

其中为对齐后的HDR图像，m_l，c定义为

其中τ为[0，1]的常数，对齐后的HDR图像与其对应的LDR图像组成供神经网络训练的训练样本对；

步骤2.3，图像高光区域掩码的生成，得到对齐的HDR图像亮度单位后，通过二值化的方式获取图像中高亮度区域的掩码图像，其公式为：

其中为对齐后的HDR图像的通道均值图像，t为常数，该掩码图像中值为1的区域代表场景中拥有较高亮度的物体或表面，包括光源、强光反射面。