[发明专利]一种基于深度学习的视频图像自动曝光校正方法

说明书

本发明提供一种基于深度学习的视频图像自动曝光校正方法，涉及数字图像处理技术领域。本发明的方法设计了一个结合亮度注意力机制的卷积神经网络结构，构建了平滑损失和内容一致性损失，并通过自制的涵盖多种曝光尺度、不同地点及不同时间的训练集来无监督地训练，并参考GOP中划分关键帧的方式，用训练好的网络对低照度下的视频图像进行自动曝光校正，相比于传统技术，降低了时间成本，更适合应用于视频会话场景中。本发明在对不均匀曝光的视频图像上避免了过度校正，且在时间上与传统算法相比，本发明的用时较短，能够实时处理视频。

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于深度学习的视频图像自动曝光校正方法。

背景技术

如今互联网蓬勃发展，多媒体业务随之兴起，种类也更加丰富多样，吸引着大规模用户的使用，逐步影响着人们的生活。多媒体业务的种类繁多，如视频医疗、监控、教学等。同时多媒体业务也正在逐渐转向民用，主要以处理速度和处理效果为研究重点，期望在快速实时的同时保持画面质量。目前视频会话形式的市场份额比重逐年持续增长，其范围已经涉及到生活的各种领域，在人们交流沟通的过程中成为不可或缺的工具，也将是未来的主流趋势。随着近几年硬件设备和网络速度的不断提升，人们对视频会话的质量要求也越来越高。

然而在日常生活中，由于场景低光照、拍摄手法及设备配置问题，得到的视频会话图像很容易出现曝光不足、显示昏暗场景等问题，直接影响用户的主观感受，使得用户或计算机视觉任务无法很好地识别图像具体信息。光照影响视频质量主要有下面两种情况：在低光照条件下，获得的图像具有大量较暗区域，导致观测到的细节纹理不清晰，识别困难；在背光或闪光灯条件下，图像存在高亮和阴影区域，图像亮度呈现不均匀状态，影响用户体验。

视频会话需要考虑用户体验及后续的图像处理等问题，这些都是建立在高质量图像的基础上，因此在视频会话场景下，对含低照度视频图像的曝光校正需求非常迫切。其中对视频图像的曝光校正属于视频增强技术，视频增强技术是一种对视频颜色、噪声、光照度、细节等进行处理以提高视频体验的技术，也是图像的预处理阶段，旨在增强图像质量，根据需求恢复图像的重要信息，为后期的计算机视觉任务奠定坚实的基础。

目前针对视频图像曝光校正的研究相对较少，通常采用单帧处理的方式，但是传统方法计算量过大，并且主要针对离线视频难以达到实时。对视频会话场景下的曝光校正技术研究几乎处于空白阶段，因此为了有效的利用图像中的信息，解决拍摄过程中的一些问题，满足人们的主观感受以及计算机视觉设备的进一步分析应用，就必须对低照度条件下视频会话场景中的视频图像进行曝光校正。以深度学习为基础的方法是近年研究的新方向，基于神经网络的算法能够比传统方法在速度上有一定的提高，且避免了人工设置参数的复杂性，但是现有的网络存在网络结构较单一的问题，且适合视频会话业务的视频图像曝光校正技术研究较少，所以提高深度神经网络在视频图像曝光校正上面的性能是十分重要的。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的视频图像自动曝光校正方法，实现对低照度环境下降质视频图像的颜色、亮度以及细节恢复，并且在时间上能够满足实时性。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于深度学习的视频图像自动曝光校正方法，包括以下步骤：

步骤1、训练数据集准备；

使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；所述多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；并通过翻转以及旋转的方式来进行数据增强；

步骤2、设计网络结构；