[发明专利]一种基于卷积神经网络的图像超分辨率重建方法

说明书

本发明公开了一种基于卷积神经网络的图像超分辨率重建方法，该方法使用两层卷积层提取浅层特征，使用多个U型网络进行多尺度的特征提取与融合，使用残差通道注意力机制有效增强有用特征，抑制噪声，使用一层卷积层完成图像最终的重建，使用图像训练集对网络进行端到端训练并保存模型参数供测试使用。本发明显著提高了图像重建质量，在不提高硬件成本的条件下提高了图像的分辨率。

技术领域

本发明涉及计算机视觉及图像处理领域，具体是一种基于卷积神经网络的图像超分辨率重建方法。

背景技术

图像超分辨率重建是一种通过使用软件算法的方式改善图像质量的技术，即由输入的一幅或者多幅同一场景的低分辨率图像重建出一幅高分辨率图像的技术。它克服了通过硬件获得高分辨率图像成本高的固有缺陷，在技术上和成本上具有较大优势，因此被越来越多地应用于医学成像，人脸识别和安防监控领域。目前已有大量的图像超分辨率重建算法被提出，包括基于插值的方法，基于重建的方法和基于学习的方法。

发明内容

本发明的目的是提供一种基于卷积神经网络的图像超分辨率重建方法，以解决现有技术在性能上的不足，以获得更高质量的重建图像。

为了达到上述目的，本发明所采用的技术方案为：

一种基于卷积神经网络的图像超分辨率重建方法，其特征在于，构建一个包括浅层特征提取模块、多个U型网络模块、基于残差通道注意力的特征融合模块和重建模块的网络模型，将低分辨率图片输入到所述网络模型，得到低分辨率图片对应的高分辨率图片；其具体步骤如下：

(1)、采用浅层特征提取模块进行浅层特征提取

对于输入的低分辨率图像I_LR，使用3×3的卷积层提取浅层特征，为使模型紧凑，再使用1×1的卷积层压缩通道数量，经过非线性激活单元得到浅层特征图F₀，由以下等式给定：

F₀＝f_conv(I_LR) (1)

其中f_conv代表浅层特征提取模块。

(2)、得到浅层特征图F₀后，将其作为U型网络模块的输入，每个U型网络模块均包含两个阶段，阶段一为对输入的特征图执行卷积核大小为3，步长为2的卷积操作，每执行一次，特征图的大小缩减为之前的1/4，连续执行两次此操作，此时特征图为输入特征图大小的1/16，此阶段也称为编码阶段。编码阶段输出的特征图作为第二阶段的输入，阶段二采用卷积核为6，步长为2的转置卷积操作，每执行一次，特征图的大小扩大为之前的4倍，连续执行两次此操作，此时特征图扩大为之前的16倍，此阶段也称为解码阶段，编码阶段的特征与解码阶段特征通道跳连接方式进行融合，有利于信息传递及反向传播参数的更新。堆叠多个U型网络已达到多次自下而上和自上而下的多尺度特征提取，多尺度特征的提取有利于图像超分辨率重建。使用F_n代表第n个U型网络的输出(n0)，则F_n可以用以下等式得到：

F_n＝U_n([F₀,C(F₁),…,C(F_n-1)]) (2)

其中U_n代表第n个U型网络，C代表压缩模块，为1×1的卷积层用于压缩通道数量，[F₀,C(F₁),…,C(F_n-1)]代表特征在通道维度上的连接。

(3)、对于多个U型网络的输出，因为每个通道的信息量不同，为便于网络重建，使用残差通道注意力机制，对每个通道学习一个对应的权值，通道特征与权值相乘后与原特征图相加，达到增强有用特征，削弱无用特征及噪声的目的。可通过以下等式描述：