[发明专利]一种基于深度学习的端到端去模糊超分辨率的方法

权利要求书

1.一种基于深度学习的端到端去模糊超分辨率的方法，其特征在于，包括如下步骤：

步骤1、构建JD_ND_MSR网络模型；

JDNDMSR网络模型基于深度卷积神经网络，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块；

步骤2、数据预处理；

网络模型分为三个子训练过程，在数据处理中需要分别对需要训练的数据集做预处理操作；在进行去模糊训练中，需要对输入的拜耳CFA图像进行模糊操作；即，对于去模糊的数据进行预处理过程，通过添加噪声为10、20和30的高斯噪声生成带噪输入图像；在进行去马赛克的训练过程中，需要将输入的图像更改为RAW图，即对于去马赛克的数据进行预处理操作，将已经加入噪声的输入图像拼接成拜耳CFA模式的单通道图像；在进行超分辨率的训练过程中，需要原始的高分辨率的图像按照一定的比例进行缩小，即表述为超分辨率的数据预处理，对高分辨率图像使用比例因子为2进行双三次插值的缩放；

步骤3、通过预处理好的数据训练构建的网络模型；

在训练过程中的处理如下：对图像进行随机的旋转，包括90°、180°、270°来进一步增强数据；对于每个训练单元，小批量大小为16，裁剪大小为64×64；对于网络参数的优化器，使用β₁＝0.9和β₂＝0.99的Adam优化器，学习率初始化为0.001；训练进行100轮；

所提出的网络模型JD_ND_MSR采用MSE损失函数进行优化；对于通过步骤2处理的现有训练集对网络模型进行训练，其中和分别代表了低分辨率输入和相应的高分辨率输出，训练的目的就是最小化其损失函数:

上式中，Θ表示JD_ND_MSR的参数集。

2.根据权利要求1所述的一种基于深度学习的端到端去模糊超分辨率的方法，其特征在于，步骤1具体方法如下：

JDNDMSR网络模型基于深度卷积神经网络，包括下采样层、颜色提取模块、特征提取模块、图像重建模块、两个上采样层和一个残差块；

输入数据首先经过下采样层，下采样方式为卷积直接下采样，即通过核为3步长为2的单一卷积层实现下采样；

颜色提取模块是下采样后首先经过的模块，该模块包括了一个256通道输出的卷积层和一个输出为64的转置卷积层；通过颜色提取模块将输入图像经过一次尺度的放大，提升整体网络的性能，所得到的权重信息可以有效的提取图片的色彩信息，来有效还原预处理之后的图片；

对颜色提取模块处理后的数据进行上采样，通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值；

特征提取模块由两个稠密层连接RRDB和一个长跳转连接(LSC)组成，通过特征提取模块对经过上采样后的颜色提取模块输出数据进行特征提取；在充分重复利用前一个模块提取出的特征的同时，更有助于重建模块的图像重建；通过特征提取模块的提取，可以更好的提取图片本身的纹理信息；

在经过特征提取模块后的输入图像通过上采样到输入图像尺寸的两倍完成超分辨率任务，在本次上采样的过程中使用的是通道数为64，上采样倍率为2的双三次线性插值；

在上采样之后需要经过图像重建模块，首先使用转置卷积层将提取的特征转换为原始图像的信息特征，再在此之后经过输出卷积层得到图像重建模块的输出；

图像重建模块的输出与上采样后的颜色提取模块输出数据通过残差块连接，获得网络模型的最终输出；残差块的内容包括了一个转置卷积层，具体参数为步长2核2padding0。