[发明专利]一种基于光流变换的暗光视频增强方法

说明书

本发明涉及一种基于光流变换的暗光视频增强方法，属于计算机视觉技术领域。本发明通过对已有暗光图像数据集进行处理，得到额外光流估计结果，在不使用视频数据集情况下，解决现有暗光图像增强模型在处理暗光视频时的闪烁问题。使用非监督式光流估计网络，通过单张图像得到合理的光流结果，并与图像数据集相结合，将时域信息整合到网络训练中，提高了图像网络模型时域稳定性。采用已有暗光图像增强网络模型作为主干网络，通过施加一致性约束方式，在利用图像数据集训练的过程中，提高网络的时域稳定性。通过训练图像增强网络模型的方式处理暗光视频，能够充分利用图像网络相较于视频网络的优势，对于实际应用中的性能与速度需求都能够满足。

技术领域

本发明涉及一种暗光视频增强方法，具体涉及一种基于光流变换的暗光视频增强方法，属于计算机视觉技术领域。

背景技术

在暗光环境下，由于光照条件的限制，入射光子数量过少，采集的图片和视频数据信噪比很低，图像质量差，影响正常的使用，会极大地影响现有计算机视觉算法如目标检测的效果。通过增大光圈、增加曝光时间或者使用闪光灯等物理方法增加采集的光子数，虽然能一定程度上提高获取图像质量，但依然会受到偏色、运动模糊等问题的影响，无法有效解决暗光环境下的成像问题。

暗光增强技术，是指利用后处理算法，将暗光图像转变成正常光照图像，并去除噪声，提高图像信噪比的计算成像技术，目前已经取得优秀的效果，并且被广泛部署在图像采集设备中。

传统暗光增强技术利用统计学原理以及人工先验模型，对暗光图像进行处理，改变其对比度，增加亮度和信噪比，被广泛用于图像采集设备的底层处理流程中。随着深度学习方法的快速发展，利用神经网络解决暗光增强问题逐渐成为主流，并且效果远远超过基于人工先验模型的传统方法，目前已被大量手机厂商用于其智能终端设备。

目前，暗光增强领域主要关注暗光图片的恢复，暗光视频增强任务还没有得到充分的研究。虽然暗光图片增强的深度模型效果显著，但是由于没有学习到时域信息，这类图像增强网络在直接处理视频时会出现严重的闪烁问题。而由于物理条件的限制，采集成对的暗光视频和对应正常光照视频难度很大且成本过高，目前已经有研究提出新型采集设备或利用对抗生成方法来获取视频数据集，但仍无法满足视频网络的训练需求。

光流，是指描述视频序列中某两帧图像之间对应像素直接运动趋势的一种表征形式，被广泛用于描述视频序列中物体及相机镜头的运动信息，能够提供视频数据中存在的时序信息。利用光流能够对图像进行变换操作，获得按照该光流结果运动后的相邻帧结果，可用于生成运动视频。

为了获得稳定的暗光视频增强结果，并且克服上述数据集采集困难的问题，迫切需要有一种暗光视频增强方法，能够利用已有图像数据集，并且解决图像模型闪烁的问题。

发明内容

本发明的目的是针对现有视频训练数据不足的现状，为了解决现有图像模型进行暗光视频增强时存在闪烁的技术问题，创造性地提出一种基于光流变换的暗光视频增强方法。本方法能够在不需要视频数据集的前提下，提高已有暗光图像增强模型处理暗光视频的稳定性，并解决闪烁问题。

本发明是通过下述技术方案实现的。

一种基于光流变换的暗光视频增强方法，包括数据准备、训练和使用三个阶段，具体包括以下步骤：

步骤1：数据准备。使用光流估计方法，对已有暗光图像数据集中的真实正常光照图像进行处理，生成对应的光流估计结果。

具体地，步骤1包括以下步骤：

步骤1.1：使用实例分割网络模型，对暗光数据集中的真实正常光照图像进行处理，得到对应的实例分割结果，作为下一步的掩膜使用。

具体方法如下：