[发明专利]基于深度学习局部与非局部信息的超分辨率重建方法

权利要求书

1.基于深度学习局部与非局部信息的超分辨率重建方法，其特征在于包括以下步骤：

步骤一：搭建基于深度学习局部与非局部信息的超分辨率卷积神经网络模型，包括局部网络和非局部增强网络两大模块；局部网络依次包括第一层的卷积层、中间的12个局部残差模块、中间的卷积层、亚像素卷积层以及紧跟其后的卷积层；搭建的局部残差模块主要包括两层卷积层和一层激励层；对于第i个残差模块，由输入y_i-1得到输出y_i的过程可以表示为：

式中，W_i¹和W_i²分别表示残差模块中第一个和第二个卷积层，和分别是第一层卷积层和第二层卷积层的偏置，σ表示激励层，假设输入为x_i，输出为其激活过程可以描述为：

该函数将x_i中的负值直接映射为0；在非局部增强网络中，利用非局部相似性模块来搜索相似性信息，并将其用于特征重构，具体为以小长方体P为中心的大长方体S与小长方体P之间的运算过程，大长方体S为N通道输入特征张量的一个f×f×N子张量，小长方体P是位于大长方体S几何中心的1×1×N子张量，详细的运算过程为先采用1×1卷积层分别对S和P进行自适应特征加权，再对加权后维度为f×f×N的A进行维度重组、转置得到维度为N×f²的S_temp-A，对加权后维度为f×f×N的B进行维度重组得到维度为f²×N的S_temp-B，对加权后维度为1×1×N的C进行维度重组形成维度为1×N的P_temp，上述过程可以用公式表示为：

S_temp-A＝[H_reshape(H_conv(S))]^T

S_temp-B＝[H_reshape(H_conv(S))]

P_temp＝H_reshape(H_conv(P))

式中，H_reshape和H_conv分别表示维度重组和卷积操作，T表示转置操作；不同于传统基于非局部相似性的算法，非局部相似性模块采用内积的方式来求解相似程度，在实际计算中，以矩阵乘法实现内积的思想，先将维度为1×N的P_temp与维度为N×f²的S_temp-A进行矩阵相乘，得到维度为1×f²的初始相似权重，再用Softmax激活函数归一化初始相似权重，得到最终归一化的相似权重w，接着将w与S_temp-B进行矩阵相乘，即可得到维度为1×N的加权平均小长方体P_w；最后，将原始小长方体P与加权平均小长方体P_w相加就得到了原始小长方体P经过非局部相似性模块处理后的结果Q，上述过程可以用公式表示为：

Q＝P+Softmax(P_tempS_temp-A)S_temp-B

进一步将非局部相似性模块嵌入到残差学习中构成非局部残差块，其由输入特征F_i得到输出特征F_j的过程可以用公式描述为：

F_j＝H_conv(H_convR(NLSB(H_convR(F_i))))+F_i

式中，NLSB表示非局部相似性模块操作，H_convR表示先进行卷积层操作再进行ReLU激活；在训练阶段，采用双三次插值对高分辨率图像库进行降质生成低分辨率图像库，将对应的高低分辨率图像作为训练对象输入到设计的网络模型中，训练时以预测图像和真实图像之间的MSE误差作为损失函数，并以此来规范网络参数的更新，其过程可以用公式表示为：

式中，H_LN表示搭建的超分辨率卷积神经网络，和分别表示训练样本中第i个低分辨率和高分辨率图像，L表示二范数MSE损失，Θ表示网络需要更新的参数，k为每批次训练样本的数目；

步骤二：利用步骤一的卷积神经网络，分别训练不同放大因子的超分辨率模型；

步骤三：以训练好的超分辨率重建模型为基础，将低分辨率图像作为输入，得到最终的超分辨率重建图像。