[发明专利]一种由粗糙到精细的单张图像超分辨率重建方法

权利要求书

1.一种由粗糙到精细的单张图像超分辨率重建方法，其特征在于，该单张图像超分辨率重建方法是一个端到端的训练过程，待训练的网络模型具体包括以下两个阶段：

(1)多上下文提取阶段：

(1.1)阶段输入：

本阶段的使用的数据集是DIV2K数据集，DIV2K数据集包含800张训练图像、100张验证图像和100张测试图像，是用于图像复原任务的高质量图像数据集；本阶段的输入是来自对DIV2K数据集进行双三次插值下采样处理后的低分辨率图像；

(1.2)阶段架构：

多上下文提取阶段由三个相同的上下文提取模块组合而成，每个上下文提取模块包含六个基本的双分支结构块；在双分支结构块的每个分支上各有两个串联的核大小为3×3，输出通道数为64的卷积层，最后用1个核大小为1×1，输出通道数为64的卷积层对两个分支的输出进行串联融合；上下文提取模块通过残差连接和密集连接将六个双分支结构进行结合，具体地，六个双分支结构块以串联的方式进行连接，同时为了最大化网络中所有双分支结构块之间的信息流，将网络中的所有双分支结构块两两都进行了连接，使得网络中每一个双分支结构块都接受它前面所有双分支结构块的特征作为输入；

多上下文提取阶段的输入是低分辨率图像I^LR，输出是对应粗糙的特征放大倍数的高分辨率图像低分辨率图像ILR以递进的方式输入到三个上下文提取模块中，即：

H₃＝f₃(H₂)，H₂＝f₂(H₁)，H₁＝f₁(I^LR) (1)

其中，f₁、f₂和f₃分别表示为三个上下文提取模块，H₁、H₂和H₃分别表示为三个上下文提取模块的输出特征图；随后将三个上下文提取模块的输出特征图进行串联融合，并在另一个核大小为1×1，输出通道数为64的卷积层的处理下，得到融合的特征图H_fusion：

其中，[]表示对特征图的串联操作；最后，将特征图H_fusion经过反卷积f_up的处理，得到该阶段预测的粗糙超分辨率图像

(2)重建增强阶段：

(2.1)阶段输入：

本阶段的输入来自多上下文提取阶段的输出，即粗糙的高分辨率图像

(2.2)阶段架构：

重建增强阶段是一个残差卷积神经网络，输入是粗糙的高分辨率图像输出是精细的超分辨率图像该残差卷积神经网络包含5个核大小为3×3，输出通道数为64的卷积层和一个核大小为1×1，输出通道数为3的卷积层，每个卷积层后都使用ReLU激活函数进行激活；网络整体使用一个残差连接，融合该阶段恢复出的残差图像和输入图像最后通过核大小为1×1，输出通道数为3的卷积层重建出精细的超分辨率图像

(3)损失函数：

两个阶段作为一个整体进行端到端的训练，采用方向传播与随机梯度下降的方法训练，对于一个批样本，按照式(4)来计算网络的预测结果与数据库真值结果之间的误差，并计算误差的梯度，按照神经网络的反向传播，逐渐沿着梯度下降的方向更新网络参数，迭代直至收敛；

其中，I^HR表示的是神经网络输入对应的真值图像；

(4)实验过程

首先对DIV2K中的图像使用双三次插值的方法进行下采样获得低分辨率图像，同时对低分辨率图像进行随机90°旋转和翻转操作增大训练数据量；同时搭建并串联多上下文提取阶段和重建增强阶段的神经网络模型；然后将训练数据多线程分批输送到待训练的网络模型中，并按照公式(4)来计算神经网络重建的高分辨率图像和真值间的误差；最后依照反向传播的方法用梯度下降优化器ADAM迭代更新网络参数，ADAM优化器的两个重要参数β₁＝0.9，β₂＝0.999。

2.根据权利要求1所述的由粗糙到精细的单张图像超分辨率重建方法，其特征在于，训练过程中的初始学习率设置为0.0001，并在每200个epoch降低一半，epoch总数为1000。