[发明专利]一种基于深度学习的视频图像自动曝光校正方法

权利要求书

1.一种基于深度学习的视频图像自动曝光校正方法，其特征在于：包括以下步骤：

步骤1、训练数据集准备；使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；

步骤2、设计网络结构；

将待曝光校正的单帧视频图像I及其HSV颜色空间下提取的亮度注意力图I_att合并为四通道的矩阵作为输入来训练低照度视频图像曝光校正网络，其中第一个卷积层和两个下采样层的输出特征图与尺寸匹配的亮度注意力图I_att逐像素相乘后分别与最后一个卷积层、两个上采样层进行concat级联或逐像素相加，最终生成曲线特征图；

步骤3、训练网络；

以无监督的方式使用步骤1的数据集对步骤2中的网络进行训练，构建平滑损失L_smooth和内容一致性损失L_content，输入数据反复迭代直到训练次数达到最大迭代次数，结束训练，保存网络结构和参数，得到训练好的神经网络模型，即低照度视频图像曝光校正网络；

步骤4、测试；

在摄像头实时获取待曝光校正的低照度视频之后，不将所有帧都送入所述低照度视频图像曝光校正网络，仅将一个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，并保存生成的曲线特征图，其余P帧直接使用I帧的曲线特征图进行曝光校正，下一个GOP时重复该步骤；

步骤5、将得到的连续曝光校正后的视频帧合成视频输出。

2.根据权利要求1所述的基于深度学习的视频图像自动曝光校正方法，其特征在于：所述步骤1中多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；并通过翻转以及旋转的方式来进行数据增强。

3.根据权利要求2所述的基于深度学习的视频图像自动曝光校正方法，其特征在于：所述步骤2中，亮度注意力图I_att的计算方式为：

I_att＝(1-I^V)^θ (1)

式(1)中，I表示输入的视频图像；I^V表示输入I在HSV颜色空间下亮度分量V的像素值；参数θ≥1，用于控制亮度注意力图的曲率；式(2)中，Maxpooling()为最大池化操作，对I_att进行重塑尺寸操作得到

4.根据权力要求3所述的基于深度学习的视频图像自动曝光校正方法，其特征在于：所述步骤3中，设置网络训练的平滑损失函数为：

其中，N为迭代次数，表示一阶导数算子，表示曲线特征图的梯度，||·||₂表示L2范数，Norm()表示归一化操作；

设置网络训练的内容一致性损失函数为：

其中，表示一个在ImageNet数据集下预训练的VGG模型提取到的特征，I为输入的视频图像，I′为输出图像，W和H分别表示特征图的宽和高。

5.根据权利要求4所述的基于深度学习的视频图像自动曝光校正方法，其特征在于：所述步骤4的具体实现方式为：

在摄像头实时获取待曝光校正的低照度视频之后，将获取到的连续图像序列以GOP的形式划分，其中第一帧定义为关键帧，标记为I帧，一个GOP内的其他帧标记为P帧，将每个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，保存生成的曲线特征图，除了应用在I帧自身上，还将其直接应用在每个GOP内的P帧，依次得到连续的曝光校正后的视频帧，其中一个GOP长度设定为2秒。