[发明专利]一种基于网状结构与长距离相关性的真实图像去噪方法

说明书

本发明公开了一种基于网状结构与长距离相关性的真实图像去噪方法。主要包含以下步骤：1)利用图像生成网络和真实噪声拟合方法制作数据集；2)构建基于网状结构与长距离相关性的真实图像去噪网络模型；3)联合第一步制作的额外数据集与第二步的真实去噪网络模型进行分阶段训练；4)将待去噪测试集输入网络得到去噪结果图像。相比于很多传统方法或者深度学习算法，本方法主要在真实去噪上进行提升，通过拟合生成额外的真实噪声数据集，并结合网状结构与长距离相关性的深度学习网络模型，使得在真实去噪能力有了明显提升，比如常用的指标如峰值信噪比(PSNR)和结构相似性(SSIM)。

技术领域

本发明涉及计算机视觉中的图像去噪领域，特别涉及真实噪声拟合与深度学习网络结构的网状结构与长距离相关性。

背景技术

图像去噪问题是计算机视觉中非常经典的低级视觉处理问题，图像常常会因为我们手机传感器和设备读出电路的原因而产生噪点，破坏原图的清晰度，图像去噪的目的就是将噪声从噪声图像去除来恢复出干净图像。

几十年来，传统去噪方法不断深入研究，许多方法，例如全变分(totalvariation)，双边滤波(bilateral filtering)，稀疏表示(sparse representaion)或者非局部相似性(nonlocal self-similarity)等等都被提出。其中BM3D和WNNM是比较优秀的算法，BM3D利用通过相似块匹配分组，协同滤波和聚合的思想进行去噪，WNNM是利用加权核范数最小化进行恢复图像。

而随着深度学习的发展，尤其是卷积神经网络(Convolutional NeuralNetworks，CNN)大规模应用于图像处理领域，在图像去噪领域也出现了大量深度学习算法。在2017年，张等人提出的DnCNN网络，利用多个卷积层堆叠并利用残差学习的思想，取得了非常不错的效果，在多个测试集PSNR高于传统算法。之后越来越多的网络结构的提出，例如U-Net，ResNet，DenseNet等，引入图像去噪网络结构设计之中，使得深度学习图像去噪算法的性能不断提升。

然而很多深度学习图像去噪算法在进行噪声仿真时仅仅利用高斯白噪声(AddWhite Gaussian Noise，AWGN)来进行成对数据集训练，学习干净图像与噪声图像的映射关系，而高斯白噪声显然与真实成像设备产生的噪声有区别。所以如果仅仅将在高斯白噪声训练的深度学习模型应用到真实图像去噪中效果并不理想。鉴于现在深度学习在图像去噪领域大多还是采用监督学习方法，需要制作成对的真实噪声图像与干净图像，出现了很多制作真实图像去噪的数据集提供训练，例如DND数据集，SIDD数据集等。

目前来看深度学习进行图像去噪的上限高于传统方法，但是还要继续提高深度学习网络的性能；另外一点制作的真实数据集相对麻烦导致成对图像较少，这使得需要大量数据来进行驱动学习的深度学习方法有了一定的限制。这两个方面都需要进一步解决。

发明内容

为解决现有技术中存在的上述缺陷，本发明的目的在于提供一种基于网状结构与长距离相关性的真实图像去噪方法，该方法网络结构上相比其他算法进一步提升，并且利用到长距离图像像素相关性，使得深度学习网络的真实图像去噪能力进一步提升；另外利用额外的图像生成网络和真实噪声拟合制作更多的真实图像成对数据集，辅助训练。

本发明是通过下述技术方案来实现的。

一种基于网状结构与长距离相关性的真实图像去噪方法，包括以下步骤：

1)利用图像生成网络和真实噪声拟合制作额外的真实噪声数据集：

使用异方差高斯噪声来拟合真实噪声中的光子到达统计的噪声和读出电路不精确的噪声；

利用图像生成网络将sRGB图像转为rawRGB图像，将拟合的真实噪声添加，之后再将图像从rawRGB转为sRGB图像，从而制作出额外的真实噪声数据集；

2)构建基于网状结构和长距离相关性的真实去噪网络模型；