[发明专利]一种用于图像超分辨率的重建方法

说明书

本发明实施例公开了一种用于图像超分辨率重建方法，涉及数字图像增强技术领域，能够更大程度上的提取低分辨率图像的特征，进而还原高分辨率图像的纹理细节。本发明包括：建立生成对抗网络和特征提取器，所述生成对抗网络由至少两个神经网络组成包括：生成模型与判别模型；将待处理图像输入所述生成对抗网络的生成模型中，得到第一输出；将所述第一输出输入特征提取器，进行特征提取后，得到第二输出；将所述第一输出输入所述生成对抗网络的判别模型，得到第三输出；固定住特征提取器的参数，以对抗损失、感知损失以及生成图像与原图空间距离为优化目标，交替更新生成对抗网络的判别模型和生成模型，达到优化生成模型的目的。

技术领域

本发明涉及数字图像增强技术领域，尤其涉及一种用于图像超分辨率重建方法。

背景技术

高分辨率图像是图像清晰表达其空间结构、细节特征、边缘纹理等信息的重要媒介，它在医学、刑侦、卫星等领域有着极为广泛的实用价值。但是在实际的图像采集过程中，所得到的往往是低分辨率图像(Low Resolution，LR) 或者分辨率无法满足处理的需求，因此如何对低分辨率图像进行重建，成为了需要研究的方向。

目前使用较多的超分辨图像重建所采用的方法有基于插值的图像重建方法、基于重构的图像重建方法、基于学习的重建方法等。这其中，基于重构的超分辨率图像重建方法在图像处理领域使用较为广泛，主要分为频域法和空域法。利用多幅低分辨率图像与未知高分辨率图像提取所需的图像特征信息，并估计高分辨率图像特征信息后重建高分辨率图像。

但是，目前的方案中，对于低分辨率图像的特征的提取程度还不高，进而难以更多地还原高分辨率图像的纹理细节。

发明内容

本发明的实施例提供一种用于图像超分辨率重建方法，能够更大程度上的提取低分辨率图像的特征，进而还原高分辨率图像的纹理细节。

为达到上述目的，本发明的实施例采用如下技术方案：

步骤一、建立生成对抗网络和特征提取器，所述生成对抗网络由至少三个神经网络组成包括：生成模型、判别模型和特征提取器；

步骤二、将待处理图像输入所述生成对抗网络的生成模型中，得到第一输出，其中，所述第一输出为分辨率高于所述待处理图像的图像；

步骤三、将所述第一输出输入特征提取器，进行特征提取后，得到第二输出，其中，所述第二输出包括了：对应于所述第一输出的不同深度的特征图；

步骤四、将所述第一输出输入所述生成对抗网络的判别模型，得到第三输出，其中，所述第三输出表现为为一个二维矩阵，矩阵中的每一个值各自代表了所述第一输出的图像中的一个区域的细节纹理的逼真程度，数值的大小与图像中的对应区域的细节纹理的逼真程度正相关；

步骤五、训练所述生成对抗网络的判别模型，并优化所述生成对抗网络的生成模型。

本发明实施例提供的用于图像超分辨率重建方法，主要任务为搭建生成模型和判别模型，并对他们进行训练，最终期望获得能够得到能够恢复低分辨率图像纹理细节的算法模型。该生成对抗模型是基于ESRGAN模型进行改进的。其中，生成模型考虑采用RRDB的结构以尽量避免因为神经模型层数加深带来的梯度弥散问题。判别模型则以VGG模型为主体，并且参考了Relativistic Discriminator和Patch Discriminator的形式，以增强模型的可训练性。最后，结合多尺度的感知损失，进而使生成器能够隐式的学习图像的语义信息。考虑实际待重建图片的复杂性，考虑用清晰图像做4倍BiCubic下采样得到低分辨率图像做训练集，并用该训练集训练模型以用于对同等程度的压缩低分辨率图像进行重建。考虑到选择PSNR及SSIM作为性能评价指标，因此将损失函数以这两个指标为参考去进行构建。从而可以更大程度上的提取低分辨率图像的特征，进而还原高分辨率图像的纹理细节。

附图说明