[发明专利]一种关注前景信息的图像超分辨率重建方法

权利要求书

1.一种关注前景信息的图像超分辨率重建方法，所述方法包括以下步骤：

1）获取待训练图像，对图像数据预处理，得到特征图XϵR^C×H×W， R^C×H×W表示图像的参数，R表示实数集，C表示通道数，H、W表示图像大小；具体步骤包括：

1.1）选取训练样本图像作为训练样本图像集；

1.2）从所述训练样本图像集中随机选取n张原图像进行裁切、镜像反转操作，对每张原图像随机分割出m×m的图像，记为I^SR(x),x=1,2,……n；然后随机选取其中q个子图像作为训练图像；

1.3）将所述训练图像I^SR(x)输入到PAMNet网络的下采样层，通过两次串行的L×L卷积核对所述待训练图像分别进行卷积操作，初步提取图像色彩、轮廓和纹理特征，并增加特征图通道数，得到n张待训练的图像；

每次L×L卷积层由三层卷积层构成：先通过L×L的卷积层，再通过一个L×L的BN层和一个L×L的Relu层；通过第1次卷积得到m×m的特征图D；通过第2次卷积得到m×m的特征图X；

1.4）所述PAMNet网络的下采样层最终输出m×m的图像特征图 XϵR^C×H×W，其中，R^C×H×W表示图像的参数，R表示实数集，C表示通道数，H、W表示图像大小，且H=W=m；

2）对所述特征图XϵR^C×H×W进行特征提取，得到特征输出图S_LFϵR^C×H×W；

3）基于所述特征输出图S_LFϵR^C×H×W的图像特征进行图像重建；

4）采用损失函数对所示重建图像进行训练，得到超分辨率图像SR；

其特征在于：所述步骤2）的具体步骤包括：

2.1）将特征图X输入PAMNet网络的特征提取层，通过N个串行的PAM模块基础单元，图像的残差浅层特征经过多次计算和传递，使用跳跃连接将所有前置的N-2个PAM模块的浅层特征输入到第N-1个PAM模块的末端并在通道维度进行拼接操作，得到图像残差浅层特征图SϵR^10C×H×W；

具体步骤包括：

2.1.1）当特征图X输入到t时刻的tPAM模块中，对于第1个PAM模块，将XϵR^C×H×W输入到残差模块Residual做卷积操作得到输出特征图X_RϵR^C×H×W；

2.1.2）将输出特征图X_RϵR^C×H×W同时输入通道域注意力模块Channel Attention和空间域注意力模块Spatial Attention并行计算通道域注意力Y_C和空间域注意力Y_S；

2.1.3）将所述通道域注意力Y_C和空间域注意力Y_S在通道维度进行拼接操作，得到门控网络Gate的输入值G_INϵR^2C×H×W；

2.1.4）将所述门控网络Gate的输入值G_INϵR^2C×H×W使用1×1卷积进行信息融合，将G_IN的维度降为（C,H,W）；经过两次3×3卷积进行特征提取和Sigmoid激活得到取值范围为（0,1）的激活输出σϵR^C×H×W；

2.1.5）将所述激活输出σ作为线性组合系数分配乘至Y_C和Y_S得到输出G_OUTϵR^C×H×W；

2.1.6）在反向传播过程中不断更新所述激活输出σ，通过学习的方式动态分配通道域注意力和空间域注意力的权重，专注在权重较高的注意力域提取图像前景信息；

2.1.7）将所述门控网络的输出G_OUTϵR^C×H×W与当前时刻的tPAM模块起始输入X_INϵR^C×H×W加和得到X_OUTϵR^C×H×W；

2.1.8）重复N-2次所述步骤2.1.1）~2.1.7）的操作；

2.1.9）采用跳跃连接将所有前置的N-2个PAM模块的浅层特征输入到特征提取层的第N-1个PAM模块的末端，在通道维度进行拼接，得到维度为(10C,H,W)的通道维度拼接的图像残差浅层特征图SϵR^10C×H×W，其中H=W=m；2.2）将所述图像残差浅层特征图SϵR^10C×H×W，采用1×1的卷积降维并聚合浅层特征，得到维度为(C,H,W)的特征图S_LϵR^C×H×W；

2.3）将所述特征图S_LϵR^C×H×W通过第N个PAM模块，得到提取的特征输出图S_LFϵR^C×H×W。