[发明专利]一种基于多尺度金字塔网络的图像超分辨率重建方法

说明书

本发明公开了一种基于多尺度金字塔网络的图像超分辨率重建方法，包括以下步骤：S1、对输入图像进行浅层特征提取；S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强，得到更丰富的深层次特征；S3、使用转置卷积对深层次特征进行上采样；S4、利用残差学习对图像进行重建；S5、将重建后的图像作为当前金字塔网络的输出，同时作为下一层金字塔网络的输入，继续采用步骤S1‑S4进行训练，以得到更高分辨率的图像。本发明采用了多尺度残差模块，对特征进行融合以得到更丰富的特征；同时采用拉普拉斯金字塔网络，以逐步上采样重建高分辨率图像；通过本发明的方法，可以重建出细节更丰富、质量更高的图像。

技术领域

本发明涉及计算机视觉及图像处理技术领域，具体涉及一种基于多尺度金字塔网络的图像超分辨率重建方法。

背景技术

随着信息技术的发展，网络上的图片数量在不断的增加，图像作为人们认知世界的一个主要媒介，已经应用于各种场景。在众多的领域中，大到医疗图像领域，卫星遥感领域，小到人们相机，手机拍照等。人们对图像的画质的要求越来越高。因此提高图像的分辨率在现实生活中将有十分重要的意义。

图像超分辨率重构旨在利用一幅或者多幅低分辨率图像恢复出高分辨率图像，近年来己发展成为计算机视觉领域的研究热点之一。目前超分辨率重构算法从重构算法方面分为基于插值和基于学习两大类。基于插值的算法简单快捷，但无法满足人们日益增长的图像质量需要。基于学习的超分辨率重建方法借助额外训练样本来学习先验以降低超分辨问题的病态性，取得了较好的效果，如基于稀疏编码与基于邻域嵌入的方法。然而，这些方法仅在图像的初级特征空间上求解稀疏编码系数和学习嵌入空间，使得稀疏性与流形假设难以严格满足，直接导致了图像重构质量的下降。随着深度学习的蓬勃发展，研究人员将深度学习算法广泛应用到图像超分辨率重构上来并取得优于插值算法的重构结果。但目前主流的方法都是基于网络越深重建效果越好的理论上，随着网络深度的增加，梯度消失或者网格退化等问题依然存在，且大部分的方法都是经过一次上采样以达到指定的尺寸，这样对于重建出来的高分辨率图像质量有待提高。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于多尺度金字塔网络的图像超分辨率重建方法，该方法采用拉普拉斯金字塔网络，并融入了多尺度残差思想，通过多尺度残差模块对特征进行加强，以拉普拉斯金字塔网络逐渐上采样进行图像重建，使得重建出的图像质量更高。

本发明的目的可以通过采取如下技术方案达到：

一种基于多尺度金字塔网络的图像超分辨率重建方法，所述的图像超分辨率重建方法包括以下步骤：

S1、对输入图像进行浅层特征提取；

S2、将浅层特征通过K个多尺度残差模块进行特征融合以及特征增强，得到深层次特征；

S3、使用转置卷积对深层次特征进行上采样；

S4、利用残差学习对图像进行重建；

S5、将重建后的图像作为当前金字塔网络的输出，同时作为下一层金字塔网络的输入，继续重复采用步骤S1到步骤S4的训练，以得到更高分辨率的图像。

进一步地，所述的步骤S1过程如下：

使用一层后接非线性激活单元的3×3卷积层，从输入的低分辨率图像中提取出浅层的特征，表达式如下：

F₀＝σ(W₁*I_LR) (1)

其中，I_LR表示输入的低分辨率图像，σ表示非线性激活函数ReLU，W₁表示3×3卷积层的卷积核，F₀表示通过卷积层提取的特征。