[发明专利]一种基于实际相机噪声建模的视频去噪方法

说明书

本发明公开了一种基于实际相机噪声建模的视频去噪方法。具体步骤如下：(1)探索成像过程中主要噪声的物理成因并建立噪声分布的数学模型；(2)基于建立的噪声模型，进行模型参数标定，生成符合实际的噪声视频训练集；(3)设计视频去噪和增强神经网络，联合空间和时间信息来对噪声进行抑制削弱；(4)训练优化神经网络，利用合成和实采的视频数据集验证方法的实用性。本发明的去噪方法适用于弱光视频去噪，在国防军事、安防监控、科学研究环境保护等领域具有非常重要的应用需求。

技术领域

本发明涉及计算摄像学和深度学习领域，尤其涉及实际相机噪声建模的弱光视频去噪领域。

背景技术

极低光照条件下，大量的噪声会显著降低图像的质量，因此弱光视频成像是一个具有挑战性的问题。大量的视频去噪或视频增强算法已被提出来解决这个问题，然而这些算法中的大部分噪声模型是简单独立同分布的假设，包括加性高斯白噪声，泊松噪声或者高斯噪声和泊松噪声的混合。实际情况中，视频中噪声非常复杂，尤其在低照度情况下，某些通常忽略的因素，例如动态图形噪声、噪声通道间联系、截断效应等都会变成主要问题。

基于深度学习的方法在许多图像处理任务上，取得了显著的进展。深度学习通过构建具有很多隐层的神经网络模型和海量的训练数据，来学习噪声更有用的特征，从而最终提升图像去噪的效果。通过逐层特征变换，将样本在原空间的特征表示变换到另一个新特征空间，从而使图像重建更加容易。

因此，如何准确地对视频的噪声分布建立数学模型并利用神经网络来恢复高质量弱光视频是当前的一个研究方向。

发明内容

针对以上现有视频去噪方法存在的不足，本发明的目的在于提出一种实际相机噪声建模的视频去噪方法。

为达上述目的，本发明采用的技术方案如下：

一种实际相机噪声建模的弱光视频去噪方法，

步骤1，建立弱光环境的实际噪声数学模型，该模型中包括动态条纹噪声、噪声通道间联系以及截断影响；

步骤2，利用实际相机的噪声对步骤1的数学模型的参数进行标定，生成符合实际情形的噪声视频训练集；

步骤3，构建视频去噪和增强神经网络，联合空间和时间信息对噪声进行抑制削弱；

步骤4，利用步骤2生成的噪声视频训练集以及实际采集的弱光视频数据集来训练优化所述神经网络。

本发明考虑了实际相机成像中主要噪声的物理成因，首先建立噪声分布的数学模型，据此生成更符合现实情形的数据来训练基于长短时记忆LSTM的视频去噪和增强网络，设计的网络输入可为任意帧数的弱光视频，网络逐帧输出高质量的视频帧。

本发明的优点在于：(1)提出的实际噪声模型是基于物理成像过程和传感器的硬件特性，在弱光条件下主要考虑三种不可忽略的噪声：动态条纹噪声、噪声通道间关联和截断影响，使得该模型能够很好地处理实际情形中的复杂噪声，尤其是弱光成像下的视频；

(2)提出了噪声模型的估计方法并合成符合实际的噪声视频训练集，而不需要太多实采训练数据集，这对于难以同时获取成对噪声和干净的视频帧的视频去噪算法是极具吸引力的；

(3)设计基于长短时记忆LSTM视频去噪和增强神经网络，本发明的网络结构能够记忆并利用多达前面20帧的信息来处理恢复当前帧图像的信息；

(4)本发明的弱光视频去噪方法在国防军事、安防监控、科学研究环境保护等领域具有非常重要的应用前景。

附图说明

图1为本发明实施例中去噪方法的流程图。

图2为本发明实施例成像过程中的噪声源示意图。

图3为本发明实施例中的2D查找表，(a)是截断效应均值校正，(b)是截断效应方差校正。