[发明专利]基于级联深度残差网络的视频去噪方法

说明书

本发明公开了一种基于级联深度残差网络的视频去噪方法，该方法可处理亮度或色度分量，以多帧图像为输入，采用两个级联的深度残差网络抑制视频噪声。两个深度残差网络具有相同的结构，按输入样本前向传播时的数据流向，该方法的每级深度残差网络结构依次为输入模块，残差模块和融合模块。对第一级深度残差网络和第二级深度残差网络训练完成后，得到视频图像去噪的模型，将图像序列输入到视频图像去噪模型可对视频进行去燥处理，提高视频图像质量，将其作为编码器的预处理步骤，可有效的提高编码器的性能；或将其作为目标检测器的预处理步骤，则能有效的提高检测器的准确率，降低误检率。

技术领域

本发明涉及计算机视觉领域，特别涉及一种基于级联深度残差网络的视频去噪方法。

背景技术

视频监控系统的摄像机在视频采集过程中会引入各种类型的噪声，视频噪声不仅会降低视觉意义上的图像质量，而且会对后续视频编码系统施加很大的压力。从叠加了噪声的视频信号中去除或者抑制噪声信号，恢复出未受噪声污染的理想视频信号，对于HEVC、H.264等编码系统和目标检测、跟踪、识别系统而言具有重要意义。所以，视频噪声去除或者抑制一直受到学术界和产业界的广泛关注。

近年来，随着深度学习在基于图像的目标检测、识别、超分辨率分析等各个领域取得极大的成功，启发了人们将其应用于图像去噪，文献“Beyond a Gaussian Denoiser:Residual Learning of Deep CNN for Image Denoising”(Zhang Kai et al,IEEETransactions on Image Processing,2017.6)提出了一种用于单帧图像去噪的卷积神经网络模型：DnCNN，针对加性高斯噪声训练权值参数。中国专利201610729038.1提供了的基于深度递归神经网络的视频去噪模型包含两层递归神经网络，分别获取初级和高级特征，最后由输出层解码重构这些特征输出估计所得的去噪视频。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种基于级联深度残差网络的视频去噪方法。

本发明具体采用的技术方案如下：一种基于级联深度残差网络的视频去噪方法，包括以下步骤：

(1)获取待去噪的视频，设待去噪的视频中的第t帧图像为I_t，得到图像序列{I_t-K,…,I_t,…,I_t+K}，其中I_t-i和I_t+i分别为位于t时刻之前和之后，与第t帧图像相隔i帧的图像，K可取值为1、2或3；

(2)构建第一级和第二级深度残差网络；第一级和第二级深度残差网络具有相同的网络结构，第一级和第二级深度残差网络均包括输入模块、残差模块和融合模块；所述输入模块包括一个卷积层，该卷积层具有N_input个3×3×(2K+1)大小的卷积核；所述残差模块包含N_block个残差块，每个残差块中包含卷积层Conv_k01、PReLU层和卷积层Conv_k02；所述融合模块包含卷积层Conv_B01、卷积层Conv_B02和卷积层Conv_B03；

(3)将步骤(1)中的图像序列输入到第一级深度残差网络，图像序列中的每幅图像被当作一个二维矩阵，依次排列这些矩阵形成一个三阶张量，与输入模块中的N_input个卷积核进行步长为1的卷积运算，产生包含N_input个通道的特征图，输入到残差模块中；

(4)残差模块中的第一残差块的输入为输入模块输出的特征图，除第一残差块之外的任意第k个残差块以第k-1个残差块的输出为输入，设某个残差块的输入为x，前向传播时的数据流向依次为卷积层Conv_k01、PReLU层、卷积层Conv_k02，通过卷积层Conv_k01、PReLU层和卷积层Conv_k02将输入x映射为F(x)，最后以F(x)和输入x之和F(x)+x作为残差块的输出；