[发明专利]一种基于深度反投影网络的高效超分辨率方法

权利要求书

1.一种基于深度反投影网络的高效超分辨率方法，其特征在于，包括以下步骤：

(1)获取训练集和测试集；

(2)对训练集进行预处理完成数据增强；

(3)对训练集和测试集中的图像进行不同尺度的缩放；

(4)基于卷积神经网络实现图像超分重建，卷积神经网络共包含27个卷积层，具体包括特征提取、误差反投影和图像重建三部分；误差反投影部分具体如下：

A.上、下采样模块的设置：

上采样：

下采样：

残差：

残差上采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p_t和q_t为解卷积操作，g_t为标准卷积操作，t表示第几个上采样模块，t＝1、2、3，CA表示通道加权模块；

上采样模块以大小为sH×sW的低分辨率特征图L^t-1为输入，并通过解卷积操作将其映射到H×W高分辨率特征图然后通过标准卷积操作将其映射回低分辨率特征图，这一步为反投影操作；之后将输入的低分辨率特征图L^t-1与新得到的低分辨率特征图的残差再映射到高分辨率特征图，得到一个新的残差特征图；最后的输出是两种高分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出H^t；

下采样模块与上采样模块相似：

下采样：

上采样：

残差：

残差下采样：

输出特征图：

经过通道加权：

其中*为卷积操作，↑_s和↓_s为上下采样操作，s为采样的尺度，p′_t为解卷积操作，g′_t为标准卷积操作，k表示第几个下采样模块，k＝1、2，CA表示通道加权模块；

下采样模块输入为加权后的大小为H×W高分辨率特征图H^k，输出为加权后的大小为sH×sW低分辨率特征图L^k：然后通过解卷积操作将其映射回高分辨率特征图，这一步为反投影操作；之后将输入的高分辨率特征图H^k与新得到的高分辨率特征图的残差再映射到低分辨率特征图，得到一个新的残差特征图；最后的输出是两种低分辨率特征图的相加，然后经过通道加权模块，对每个通道赋予权重得到加权后的输出L^k；

B.通道加权模块设置：

假设X＝[x₁,...,x_c...,x_C]为通道加权模块的输入，其包含C个大小为H×W的特征图，首先进行压缩操作，顺着空间维度进行特征压缩，使用全局池化操作将每个二维特征通道变成一个实数z∈R^C，第c个的通道的z值为：

其中x_c(i,j)是第c个通道的特征图x_c在点(i,j)的值，H_GP(·)表示全局池化操作；

接着进行激励操作，其包含两个全连接层，和sigmoid函数，用以建模出特征通道的相关性，为每个通道生成权重：

u_c＝f(W_Uδ(W_Dz_c))

其中f(·)和δ(·)分别表示sigmoid函数和ReLU激活函数，W_D表示第一个全连接层的权重，将特征图数量降低到输入的1/16，经过ReLU激活后再通过一个权重为W_U全连接层增加到原来的数量，之后通过一个Sigmoid的门操作获得0～1之间的归一化权重；在得到最终的通道权重之后，将归一化的权重加权到每个通道的特征上：

其中u_c和x_c表示第c个通道的权重和特征图，为加权后的输出；

C.解卷积和标准卷积的实现：

解卷积操作具体包含一个组为2的组解卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数，其中解卷积的卷积核大小随着尺度的变化而变化，尺度为4时，为8×8，边界零填充为2；尺度为3时为5×5，边界零填充为2，尺度为2时为4×4，边界零填充为1；

标准卷积操作具体包含一个组为2的组标准卷积层和一个卷积核为1×1的标准卷积层，只在1×1卷积后接ReLU激活函数；其中组卷积的卷积核的大小与解卷积卷积核大小相一致；

D.递归网络结构的设置：

第二个下采样模块与第一个下采样模块参数共享，第三个上采样模块与第二个上采样模块参数共享，实现递归调用机制，可描述为：

特征提取：F₁(x)＝F(x)；

上采样：H₁＝Up₁(F₁(x))；

下采样：L₁＝Down₁(H₁)；

上采样：H₂＝Up₂(L₁)；

下采样：L₂＝Down₁(H₂)；

上采样：H₃＝Up₂(L₂)；

其中x为输入图像，Up₁、Up₂分别表示第一个、第二个上采样模块的参数，Down₁表示第一个下采样模块参数。