[发明专利]基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法

权利要求书

1.一种基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法，其特征在于包括以下步骤：

步骤1、设计和实现网络模型

步骤2、初始化网络模型参数

步骤3、使用训练集作为输入对网络进行训练，其中每一次训练主要包含三个部分：a.前向计算得到重建结果，b.计算损失函数，c.后向传播更新参数；

步骤4、使用测试集作为输入重建高分辨率图像，其中通过前向计算得到重建的高分辨率图像。

2.根据权利要求1所述的基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法，其特征在于：步骤1中所述设计和实现网络模型的具体方法为：

提出多尺度残差稠密模块，对于输入的特征图M_in，通过构建双路网络，分别使用5x5卷积核和3x3卷积核提取不同尺度的特征S₁和P₁，再对M_in、S₁和P₁进行拼接获得拼接特征图C₁；通过双路特征提取和特征拼接得到S₂P₂，再对M_in、S₁、P₁、S₂和P₂进行拼接获得拼接特征图C₂；然后对于拼接特征C₂，使用1x1卷积对特征进行融合，并且降低特征通道数，获得局部融合之后的输出O；最后，在该模块中引入残差学习，形式上，将多尺度剩余块描述为：

M_out＝M_in+O

残差稠密模块学习的是网络输出M_out和网络输入M_in的残差O，最终，模块输出为M_out；

基于残差稠密块设计超分辨率重建网络，超分辨率重建过程分为：特征信息提取，非线性映射和重建三个步骤；网络输入为低分辨率图像I^LR，通道数为3；在特征提取部分，网络首先使用两个3x3的卷积核对I^LR提取特征信息；在非线性映射部分，引入多尺度残差稠密模块，将所有的多尺度残差稠密模块的输出进行连接，随后通过1x1卷积对所有特征进行融合，并且由于多个多尺度残差稠密模块的连接，使得特征图的通道数增大；此外，使用残差模块学习全局残差，对网络训练进行加速；最后在重建部分，先使用亚像素卷积对图片进行放大，再使用一个卷积层对图片进行重建，获得重建的高分辨率图像I^HR；

对于网络的损失函数，采用均方误差损失函数，即L2损失函数，对于给定的原始高分辨率图像I^ori、低分辨率图像I^LR和重建的高分辨率图像I^HR，其损失函数如下所示：

3.根据权利要求1所述的基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法，其特征在于：步骤3中所述用训练集作为输入对网络进行训练的具体方法为：

在网络训练的每一步中：首先，根据网络输入I^LR，经过前向计算得到I^HR，其次通过损失函数公式计算I^HR与I^ori之间的损失值，最后通过链式求导反向传播依次更新网络参数；经过多轮训练，使得网络重建的I^HR与I^ori具有一个满足要求的很小的损失值，训练完成，保存模型参数。

4.根据权利要求1所述的基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法，其特征在于：步骤4中所述使用测试集作为输入重建高分辨率图像的具体方法为：

在网络测试中，通过输入测试集的低分辨率图像，经过网络的前向计算，得到重建的高分辨率图像，即完成超分辨率重建。