[发明专利]一种关注前景信息的图像超分辨率重建方法

说明书

本发明公开了一种关注前景信息的图像超分辨率重建方法，通过PAM模块提取图像的前景信息和高频特征，使用门控网络提取通道域注意力和空间域注意力权重系数，配合非均匀联合损失在反向传播过程中动态修改二者权重。进一步提出PAMNet，在PAMNet中串联多个PAM模块，同时引入跳跃连接，充分利用图像浅层特征，通过设计的网络进行训练，完成超分辨图像的重建。本发明不仅能够专注图像前景信息和鉴别特征提取，同时保留图像的色彩和纹理特征，提高浅层利用率；本发明能够减少参数量的同时拥有较好的客观评分；本发明在性能和模型复杂度间取得了良好的平衡，PAM模块具有通用性，可以嵌入多类网络结构中。

技术领域

本发明涉及图像处理与识别方法技术领域，具体地指一种关注前景信息的图像超分辨率重建方法。

背景技术

图像超分辨重建(Super-Resolution，SR)是一种利用低分辨率图像恢复得到高分辨率图像的图像处理技术。SR技术旨在不改变物理成像设备的限制下，通过信号处理和软件方法提高图像分辨率，SR不仅有重要的学术研究价值，并且在很多领域得到了实际应用，如医学成像、视频安全监控、遥感图像处理等。SR技术除了能够提升图像质量，也可以改善许多计算机视觉任务，提高图像分辨率以获得高质量图像已成为研究界迫切需要解决的问题。

单幅图像超分辨重建(Single Image Super-Resolution，SISR)是图像超分辨重建领域的研究热点。SISR仅利用单个低分辨率图像为输入，重建具有丰富图像细节和清晰纹理的高分辨率(High Resolution，HR)图像，实用价值很高。SISR算法主要分为三类：基于插值的方法、基于重建的方法、基于学习的方法。基于插值的方法如双三次插值等会大量丢失图像细节，重建后的图像严重失真，清晰度低。基于重建的方法如邻域嵌入法、稀疏表示法等采用传统机器学习算法得到的模型，重建图片质量相对较高，但可扩展性较差。随着深度学习和生成对抗网络的发展，基于学习的方法不断涌现新的新型网络，在提高图像细节和纹理特征方面表现出不错的性能，重建生成的HR图像更为逼真，图像超分辨率取得了较大的进步。

残差网络使用残差学习，在网络设计中使用了跳过连接方式进行残差单元中的直接映射，基于残差学习的深度模型VDSR通过引入残差结构提升模型性能，但存在训练参数量大、重建图像背景不清晰等问题。EDSR去除了BN层，通过减小BN层的内存消耗以堆叠更多的层提升重建图像的质量，但由于仅使用L1损失进行训练，重建图像的客观指标较低。

目前，图像处理的超分辨率任务依旧存在未充分利用图像浅层特征、图像前景不突出、缺乏视觉重点等问题。

发明内容

针对上述图像处理中超分辨率任务依旧存在未充分利用图像浅层特征、图像前景不突出、缺乏视觉重点的问题，本发明提出一种关注前景信息的图像超分辨率重建方法，关注图像前景信息和细节特征的同时降低训练参数量，提高了图像浅层特征利用率和模型性能，极大提高了图像超分辨率的视觉质量。

为实现上述目的，本发明所设计的一种关注前景信息的图像超分辨率重建方法，所述方法包括以下步骤：

1）获取待训练图像，对图像数据预处理，得到特征图XϵR^C×H×W，R^C×H×W表示图像的参数，R表示实数集，C表示通道数，H、W表示图像大小；

2）对所述特征图XϵR^C×H×W进行特征提取，得到特征输出图S_LFϵR^C×H×W；

3）基于所述特征输出图S_LFϵR^C×H×W的图像特征进行图像重建；

4）采用损失函数对所示重建图像进行训练，得到超分辨率图像SR；

其特殊之处在于，所述步骤2）的具体步骤包括：