[发明专利]基于级联网络框架的图像超分辨率方法、级联网络

说明书

本发明涉及一种基于级联网络框架的图像超分辨率方法、级联网络，基于基础超分辨率网络，获取目标图像的初步上采样结果；基于细节精修网络，根据初步上采样结果，获取超分辨率图像结果。其两个网络级联，将面向峰值信噪比的任务和面向主观感受的任务分开，由两个模型分别处理，基础超分辨率网络首先完成初步的上采样，这个初步上采样的结果很大程度上和原始高分辨率图像保证了内容一致性，接下来将初步上采样的结果送入精修网络来进一步改善感官损失，精修网络有了初步上采样结果的输入保证了整个超分辨率结果不会过度牺牲内容一致性，并且在初步上采样结果上精修减轻了精修网络和判别器的训练难度加快了训练速度，有效地缓解了现有模型的问题。

技术领域

本发明属于图像超分辨率技术领域，具体涉及一种基于级联网络框架的图像超分辨率方法、级联网络。

背景技术

超分辨率是一种从观察到的低分辨率图像重建更高分辨率图像或序列的技术。由于光的衍射特性，成像系统中的感光元件往往无法获得低于可见光波长的细节，这样就限制了单个像素所能蕴含的细节信息，整体来看，一个可见光成像系统可以看作是一个具有一定频率阈值的低通滤波器，所有高于这个阈值的图像信息成像系统都无法有效地记录，超分辨率任务就是利用图像低频信息和高频信息之间的互补能力和相关性来预测频率阈值之上的高频信息。超分辨率重建的可行性建立在图像的信息冗余性和自相似性基础之上。按照输入图像的类型，超分辨率算法可以为多帧超分辨率和单帧超分辨率，如果可以获取具有子像素未对准的相同场景的多个图像，则可以利用它们之间的互补信息来重建更高分辨率的图像或图像序列。然而，由于客观因素限制，多个低分辨率图像有时可能无法同时获得，因此使用有限的分辨率信息来恢复高分辨率图像具有很高的应用价值，通过单个低分辨率图像恢复高分辨率图像的任务又称作做单帧超分辨。

现有的面向感知度量的超分辨率模型主要通过对损失函数的改造来引入感知损失，这种方法往往存在两个问题：

(1)感知损失与内容损失以及L2损失之间是加权相加的，具体的权值大小往往对超分辨率模型的重建效果起着至关重要的作用。在现有的方法中，这些权值大小都属于超参数需要人类进行手工调参，手工调参带来的是模型训练时间的加长和模型重建表现的不稳定性。

(2)现有的通过对损失函数的改造来达到提升感知效果的方法往往在带来感知效果提升的同时降低了在客观指标上的表现，往往会生成一些感知效果很好但峰值信噪比并不高的图像。

因此，如何使得图像超分辨率过程中，减小模型训练的时间，增强模型重建的稳定性，达到客观指标，成为现有技术中亟待解决的技术问题。

发明内容

为了至少解决现有技术存在的上述问题，本发明提供了一种基于级联网络框架的图像超分辨率方法、级联网络，以实现综合考虑主客观评价指标的级联网络框架，有效缓解图像超分辨率中模型训练时间长、过度平滑问题。

本发明提供的技术方案如下：

一方面，一种用于图像超分辨率的级联网络，包括：基础超分辨率网络、细节精修网络；所述细节精修网络与基础超分辨率网络级联；

所述基础超分辨率网络，用于获取目标图像的初步上采样结果；

所述细节精修网络，用于根据所述初步上采样结果，获取超分辨率图像结果。

可选的，还包括：判别器网络；所述判别器网络，用于判别所述超分辨率图形结果与原始高分辨率图像的可信程度，根据所述可信程度进行学习，从而实现与所述细节精修网络的对抗式训练。

可选的，所述细节精修网络，包括：特征提取器子网络、非线性映射子网络和重建子网络；

所述特征提取器子网络，用于根据初步上采样结果，提取粗特征；

所述非线性映射子网络，用于将所述粗特征，映射到具有高感知效果的特征空间，获取映射后的图像特征；