[发明专利]一种基于光流变换的暗光视频增强方法

权利要求书

1.一种基于光流变换的暗光视频增强方法，包括以下步骤：

步骤1：数据准备；

使用光流估计方法，对已有暗光图像数据集中的真实正常光照图像进行处理，生成对应的光流估计结果，包括以下步骤：

步骤1.1：使用实例分割网络模型，对暗光数据集中的真实正常光照图像进行处理，得到对应的实例分割结果，作为下一步的掩膜使用；

步骤1.2：使用光流估计方法，对暗光数据集中的真实正常光照图像进行处理，得到对应的光流估计结果，作为训练阶段光流变换的数据使用；

步骤2：训练阶段；

利用步骤1获取的光流估计结果，结合已有暗光图像数据集，对已有暗光图像增强模型进行训练，利用光流变换得到成对的存在运动的暗光图像，以孪生网络的方式进行模型训练，并对真实正常光照图像以及模型输出进行相同的变换，并施加额外的一致性约束，完成模型训练；

步骤2.1：对暗光图像数据集以及光流估计结果进行预处理，进行数据增广，提高网络训练数据的丰富程度；

步骤2.2：以孪生网络的方式对已有暗光图像增强网络进行训练，通过光流变换获得成对的输入图像，暗光增强模型对输入的暗光图像进行处理，生成成对的图像增强结果，将其与成对的真实正常光照图像进行对比，计算暗光增强任务的损失函数以及一致性约束的损失函数，并据此更新模型中的参数；

从训练数据集中，随机选取暗光图像输入暗光增强模型；设输入图像为x₁，网络模型g对输入的暗光图像x₁进行处理，输出对应的图像增强结果g(x₁)，将其与真实正常光照图像y₁进行对比，计算增强任务损失函数

然后，利用对应的光流对已送入网络模型的输入、对应的模型输出以及真实正常光照图像均进行光流变换，表示为：

x₂＝W(x₁,f)

其中，W表示光流变换操作，x₁为首先输入模型的暗光图像，f为光流估计结果，x₂则为变换后的输入；对于模型输出g(x₁)和真实正常光照图像y₁同理；

之后，将变换后的输入图像送入网络模型，得到第二次模型输；将该输出与变换后的模型输出、变换后的真实光照图像进行对比，分别计算一致性约束的损失函数和计算增强任务的损失函数

其中，g(x₂)表示模型的第二次输出，y₂表示经过光流变换后的真实光照图像；

则训练网络所使用的完整损失函数为：

其中，λ为调节一致性约束强度的超参数，根据任务情况进行调节；

步骤2.3：重复步骤2.2，直到满足设定的终止条件后，将网络的结构与模型参数进行保存；

步骤3：使用阶段；

利用步骤2中训练得到的暗光增强模型，对需要处理的暗光视频进行增强，逐帧将视频序列中的图像输入模型，得到增强后的结果。

2.如权利要求1所述的一种基于光流变换的暗光视频增强方法，其特征在于，步骤1.1的实现方法为：

对准备使用的暗光图像数据集中的真实正常光照图像，使用实例分割方法进行处理，识别出图像中存在的前景物体，并获取其对应的像素区域掩膜，保存为与原图像大小一致的布尔矩阵数组，并以相同的命名方式保存，以备光流估计时使用，表示为：

M＝InsSeg(y) (1)

其中，InsSeg表示使用的实例分割方法，y为真实正常光照图像，M为实例分割得到的掩膜结果；

步骤1.2的实现方法为：

结合步骤1.1中获取到的前景物体掩膜结果，使用光流估计方法，对真实正常光照图像进行处理；在前景物体对应的像素区域上，随机采样不少于2个的一组速度矢量，得到对应的光流估计结果并保存备用，表示为：

f＝CMP(y,V|M) (2)

其中，f为光流估计结果，CMP为使用的光流估计方法，y表示真实正常光照图像，V代表随机采样的速度矢量数组，M为步骤1.1保存的前景物体掩膜结果，V|M表示在掩膜所描述的特定物体区域上采样的速度矢量数组。