[发明专利]一种基于渐进式的深度残差网络的超分辨率图像重建方法

权利要求书

1.一种基于渐进式的深度残差网络的超分辨率图像重建方法，其特征在于，包括如下步骤：

步骤1：选择训练数据集和测试数据集，并对训练数据集图像进行旋转和比例缩放处理，扩充训练数据集图像；

步骤2：将步骤1得到的训练数据集图像进行1/N比例下采样处理，其中N为缩放因子；

步骤3：将原始训练数据集图像和步骤2得到的低分辨率图像分别裁剪成大小为H×W和H/N×W/N像素的图像块；

步骤4：将对应相同位置的步骤3原始图像块和低分辨率图像块作为高分辨率/低分辨率样本对，生成格式为HDF5的训练数据集文件；

步骤5：搭建渐进式的深度残差网络

5.1设计跳线连接的残差块

跳线连接的残差块是由两个残差单元、一个外卷积层和跳线连接组成；其中，所述残差单元由两个内卷积层、一个激活函数和跳线连接组成，所述残差单元和外卷积层通过λ倍的端对端连接在一起，然后残差单元的输入通过跳线连接与外卷积层的输出合并作为跳线连接的残差块的输出；

5.2设置跳线连接的残差块内部参数

设置参数包括卷积核的数量、卷积核的大小、填充、移动步长和激活函数；

5.3构造深度残差网络

将5个跳线连接的残差块端对端的连接在一起组成一个深度残差网络；

5.4搭建渐进式的深度残差网络

渐进式的深度残差网络分为2级，每一级完成2X缩放因子的超分辨率重建，进而实现4X缩放因子超分辨率重建；上述每一级渐进式深度残差网络是由深度残差网络和亚像素卷积层构成，在每一级渐进式深度残差网络中，先使用深度残差网络对输入的特征图进行特征提取，然后使用亚像素卷积将提取的特征进行上采样；

5.5设置渐进式的深度残差网络的参数

设置参数包括输入卷积层、输出卷积层和亚像素卷积层的卷积核数量、卷积核大小、移动步长以及填充；

步骤6：训练渐进式的深度残差网络

6.1构建均方误差函数作为损失函数；

6.2通过优化算法，更新渐进式深度残差网络的参数；

6.3使用峰值信噪比和结构相似度作为评价指标来客观评价渐进式的深度残差网络模型的重建性能；

6.4设置跳线连接的残差块的λ的参数值，且λ＝0.1,0.2,…，1；

6.5初始化渐进式的深度残差网络的参数和设置训练参数

将渐进式的深度残差网络中的参数初始化为均值是0、标准差是0.001的高斯分布，偏差初始化设置为0；设置学习率、迭代次数和批训练样本数量；

6.6训练渐进式的深度残差网络模型

6.6.1用步骤4生成的HDF5训练数据集文件按照步骤6.5设置的参数，训练渐进式的深度残差网络模型，如果网络不收敛，则反复执行步骤6.5，直到网络收敛；

6.6.2继续训练渐进式的深度残差网络模型，达到最大迭代次数，结束训练；否则，一直执行步骤6.6.2，直至达到最大迭代次数；

6.7渐进式的深度残差网络模型的测试

使用测试数据集进行步骤6.6得到的渐进式的深度残差网络模型的测试，记录得到的峰值信噪比和结构相似度值；然后返回步骤6.4，设置不同的λ值，继续测试并记录得到的峰值信噪比和结构相似度值；最后，对比使用不同的λ值得到的峰值信噪比和结构相似度值，选取最高的峰值信噪比和结构相似度值对应的λ值作为跳线连接的残差块的λ参数值，并保存训练好的渐进式的深度残差网络模型；

步骤7：将低分辨率图像输入到上述渐进式的深度残差网络模型中，输出得到重建后的高分辨率图像。

2.根据权利要求1所述的一种基于渐进式的深度残差网络的超分辨率图像重建方法，其特征在于，步骤2中，使用双三次插值算法进行图像的下采样处理。

3.根据权利要求1所述的一种基于渐进式的深度残差网络的超分辨率图像重建方法，其特征在于，步骤6.2中，所述优化算法选择Adam优化算法。

4.根据权利要求1所述的一种基于渐进式的深度残差网络的超分辨率图像重建方法，其特征在于，步骤6.3中，峰值信噪比PSNR和结构相似度SSIM指标的计算公式如式(11)和式(12)所示：

式中，M、N表示为图像的尺寸，f表示为真实的高分辨率图像，表示为重建的高分辨率图像，μ_f和分别表示为真实高分辨率图像和重建图像的平均灰度值，σ_f和分别表示为真实高分辨率图像和重建图像的方差，表示为真实高分辨率图像和重建图像的协方差，C₁和C₂为常数，且C₁＝(k₁L)²，C₂＝(k₂L)²，k₁＝0.01，k₂＝0.03，L是像素值的动态范围。