[发明专利]基于多尺度选择反馈网络的真实图像去噪方法

说明书

本发明公开了基于多尺度选择反馈网络的真实图像去噪方法，包括：构建用于提取多个感受野尺度特征的多尺度选择模块MSB；构建多尺度选择反馈网络MSFB，包括浅层特征提取单元、多个串联的MSB、图像重建单元和退化模型；针对图像去噪构建两项对偶任务：从原始噪声图像预测无噪图像，从预测的无噪图像退化到噪声图像；利用MSFB在多个时间步中反复执行两项对偶任务，进行多级迭代；迭代中将上一时间步深层MSB输出的高层级语义信息有选择地反馈至下一时间步浅层MSB的输入端，通过迭代训练MSFB；训练过程以最小化对偶损失为优化目标，以峰值信噪比作为网络性能的评判指标；将噪声图像输入训练好的MSFB中去噪，输出去噪后的图像。

技术领域

本发明涉及计算机视觉和图像处理领域，特别涉及一种基于多尺度选择反馈网络的真实图像去噪方法。

背景技术

真实图像在采集系统中进行了处理、存储、传输等加工变换中会产生多种复杂的噪声，导致结构细节丢失和图像质量的下降。而图像噪声也将同样受到这样的分解和合成。在这些过程中电气系统和外界影响使得图像噪声的精确分析变得十分复杂。目前存在的大部分去噪方法基于已知合成的加性高斯白噪声，但在真实世界的噪声图像中往往性能不佳。

图像去噪作为典型的图像复原任务，图像到图像的直接转换的特性导致噪声图像在干净域中有无穷多个对应，这种病态的不适定问题很难在巨大的解空间中直接找到最佳的映射。深度学习网络可以学习和表示复杂的图像映射并进行端到端学习，近年来在图像去噪任务中得到了广泛应用。为了获得更好的性能，递归结构往往被用来堆叠更多的模块以加深网络和增大感受野。

然而，过深的网络会导致信息的损失和梯度优化困难。残差学习虽然在一定程度上加速了网络优化，但过多的直接跳跃连接导致噪声图像的重复利用，这破坏了现有映射并限制网络的恢复能力。大部分基于前馈方式的网络连接由于感受野的限制无法在浅层获得有价值的上下文信息。反馈机制在人类视觉系统中广泛存在。通过对视野中干净目标的初步预测以反向指导低阶细节区域的噪声去除。这种自上而下的高阶反馈方式强制浅层状态携带语义信息，在许多高级视觉任务中得到广泛小有成效的应用，但很少被用于图像去噪。尽管一些用于图像超分辨的网路探索了基于递归神经网络实现不同的反馈连接方式的可行性，但嘈杂的原始图像对像素预测的精度提出了更高的要求。相比于对尺度的直接放大，图像去噪需要实现有价值的高级语义信息和完善的低级细节特征之间的平衡。

为了增强网络对真实世界图像的去噪性能，一些方法将去噪任务分为噪声估计和去噪重建两个阶段。虽然这种方式在一定程度上缓解了大型网络对训练噪声的过拟合，但双阶段增加了网络复杂度且不可避免的产生噪声估计误差。在网络优化中，大部分端到端的基于卷积神经网络的去噪方法致力于最小化训练集中成对的干净无噪标签和网络最终输出的去噪结果之间的差异。然而，仅对一次重建结果的一步监督难以预测复杂的退化。更重要的是，真实世界中的噪声图像往往没有对应的无噪声图像。大量的无标签的不成对图像被浪费，导致训练集无法涵盖复杂且多变的真实噪声，导致网络对一些真实噪声适应性不佳。

发明内容

鉴于此，本发明提出一种基于多尺度选择反馈网络的真实图像去噪方法，在网络中增加噪声域的额外监督，不仅减少对干净高质量训练数据的过度依赖，还可以使得网络对噪声变化更加鲁棒，以解决目前真实噪声图像的去噪方法所存在的去噪效果差且去噪模型复杂度高的问题。

本发明为解决上述问题所提出的技术方案如下：

一种基于多尺度选择反馈网络的真实图像去噪方法，包括：

S1、构建用于提取多个感受野尺度特征的多尺度选择模块；

S2、基于多尺度选择模块构建多尺度选择反馈网络，所述多尺度选择反馈网络从输入端到输出端依次包括浅层特征提取单元、多个串联的多尺度选择模块、图像重建单元和退化模型；