[发明专利]一种基于空洞化的核预测网络的单图像去噪方法和装置

说明书

本发明公开了一种基于空洞化的核预测网络的单图像去噪方法和装置，包括：构建包含特征提取模块、特征压缩模块、核预测模块以及图像重建模块的基于空洞化的核预测网络；对空洞化的核预测网络进行参数优化后备用；应用时，将噪声图像输入至参数优化后的基于空洞化的核预测网络，利用特征提取单元从噪声图像中提取高级特征图，利用特征压缩模块将高级特征图压缩成压缩特征图，利用核预测模块根据高级特征图提取预测卷积核，利用图像重建模块基于预测卷积核和压缩特征图获得预测图后与噪声图像融合，得到去噪后图像。通过为单图像去噪问题引入核预测网络，并使用空洞卷积、多核通道融合、压缩特征图等技巧实现单图像去噪任务，大大提升了去噪效果。

技术领域

本发明涉及计算机科学图像处理领域，尤其涉及一种基于空洞化的核预测网络的单图像去噪方法和装置。

背景技术

图像去噪是图像处理领域的一大基础问题，近年来深度学习网络的快速发展为去噪算法提供了一种高效的解决方案。但是传统卷积网络在全图像素上使用相同的卷积核，如申请公布号为CN109658348A公开的基于深度学习的联合噪声估计和图像去噪方法，没有充分利用像素区域之间存在的特征差异。

尽管已有一些较新的研究在尝试引入注意力机制来强调这一局部差异性，如申请公布号为CN111260591A公开的一种基于注意力机制的图像自适应去噪方法，但是现有深度学习网络往往仍无法较好地保持精细的图像细节。

核预测网络(Kernel Prediction Network)作为一种能为每个像素预测其特有卷积核的深度学习网络，充分评估了每个像素特有的邻域特征。但是该方法目前尚未在单图像去噪问题上得到较好应用，其主要难点在于在仅有的一张参考图像中提取到足够的信息用于逐像素的核预测。

发明内容

鉴于上述，本发明的目的就是提供一种基于空洞化的核预测网络的单图像去噪方法和装置。该方法和装置为单图像去噪问题引入核预测网络，并通过使用空洞卷积、多核通道融合、压缩特征图等技巧，使得核预测网络更好地胜任单图像去噪任务，大大提升了去噪效果。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种基于空洞化的核预测网络的单图像去噪方法，包括以下步骤：

构建包含特征提取模块、特征压缩模块、核预测模块以及图像重建模块的基于空洞化的核预测网络，其中，核预测模块包括至少3个不同空洞步长且用于产生分支预测卷积核的空洞分支、和用于融合所有分支预测卷积核的核融合操作以得到预测卷积核；

对空洞化的核预测网络进行参数优化后备用；

应用时，将噪声图像输入至参数优化后的基于空洞化的核预测网络，利用特征提取单元从噪声图像中提取高级特征图，利用特征压缩模块将高级特征图压缩成压缩特征图，利用核预测模块根据高级特征图提取预测卷积核，利用图像重建模块基于预测卷积核和压缩特征图获得预测图后与噪声图像融合，得到去噪后图像。

优选地，所述特征提取模块包括若干卷积层和若干残差模块(residual block)，用于从噪声图像中提取包含多个通道的高级特征图(high-level feature map)，其中，残差块按照残差学习策略设计，为特征提取模块堆叠网络深度的主要单元，包括卷积层、线性整流函数(ReLU)和点加操作。

优选地，所述特征压缩模块包括至少一个卷积层，用于对高级特征图进行压缩，得到与噪声图像通道数相同的压缩特征图，例如对于灰度图像而言压缩特征图为单通道，对彩色图像而言压缩特征图为三通道。

优选地，所述核预测模块包括3个不同空洞步长(dilation stride)(例如1，2，3)的空洞分支，每个空洞分支用于产生各自的分支预测卷积核，还包括核融合操作，用于融合所有分支预测卷积核得到预测卷积核。