[发明专利]一种可变倍率的图像超分辨率网络模型

说明书

本发明公开了一种可变倍率的图像超分辨率网络模型，模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。本发明通过对放大倍率参数进行显式表达，建立参数化残差学习网络模型，从而使得模型能接受任意尺度的输入，满足可变倍率超分辨率任务要求；本发明提出残差精化学习网络，进一步学习重建的高分辨率图像与重建残差间的映射关系，从而对重建图像进行残差补偿，提高超分辨率重建质量。

技术领域

本发明属于数字图像处理技术领域，涉及一种图像超分辨率网络模型，具体涉及一种可变倍率的图像超分辨率网络模型。

技术背景

深度学习技术促进了图像超分辨率(super-resolution，SR)重建性能的巨大跃升，但面向超分辨率重建的深度学习模型每次只能针对一种固定的放大倍数，如果要同时执行不同倍数的超分辨率任务，则需要训练多个对应不同放大倍数的深度学习网络模型。对于需要执行任意不确定放大倍率的应用而言，超分辨率网络的这种局限性制约了其实际应用范围。

不确定放大倍率的超分辨率应用场景在现实中普遍存在，一种常见的场景是监控视频的人脸超分辨率识别，即通过超分辨率技术提升人脸的分辨率进而提高人脸识别系统的精度。由于监控目标距离摄像头远近不一，导致采集到人脸的分辨率也各不相同。将输入尺寸各异的低分辨率人脸图像提升到人脸识别器需要的统一高分辨率尺寸，就是一种典型的变倍率超分辨率处理任务。

为不同放大倍数训练各自模型的方式繁琐而不切实际，一种替代方案是，先利用传统的图像插值方法，将不定尺寸的输入图像上采样到统一的最终尺寸，再进行恒等倍率的超分辨率重建。这种方式下，深度学习超分辨率模型不再是扩大空间分辨率，而是补充图像的细节信息。由于统一尺寸后的输入图像的原有细节丰富程度各不相同，需要超分辨率模型补充的细节增量故而也不固定，从而要求超分辨率网络具有强大的不等增量细节的学习能力，这对训练样本的多样性和网络的特征模式表达能力均提出了挑战。

可见，对于可变放大倍率的超分辨率任务，当前的两种处理方式存在严重缺陷，为每种倍数训练对应网络模型的方式繁琐而不切实际；先插值到统一的分辨率再超分重建的方式忽略了不同分辨率输入图像在内容成份上的差异性，难以获得理想的重建效果。为一种放大倍数训练的网络(如X2)不能适用于另外一种倍数的图像放大(如X3)的根源在于，现有的超分辨率重建网络没有对放大倍率这一变量进行显式表达，因此，有必要提出可变放大倍率的超分辨率网络模型，满足任意尺度输入的要求。

发明内容

为了解决上述技术问题，本发明提出了一种可变倍率的图像超分辨率网络模型。

本发明所采用的技术方案是：一种可变倍率的图像超分辨率网络模型，其特征在于：所述模型包括参数化残差学习网络PRNet、残差精化学习网络RRNet和叠加网络；

所述参数化残差学习网络PRNet，用于学习低分辨率LR图像到高分辨率HR图像间的映射；

所述残差精化学习网络RRNet，用于学习重建高分辨率图像到残差图像间的映射；

所述叠加网络，用于将高分辨率HR图像与残差图像进行叠加，形成最终的超分辨率SR图像输出。

作为优选，所述参数化残差学习网络PRNet，其基本计算单元为参数化残差学习单元；

所述参数化残差学习单元，对残差图像学习网络学习得到的残差进行调控，调节残差对超分辨率重建的贡献比重，高放大倍数时贡献大，低放大倍数时贡献小，放大倍数为1时，残差不参与重建，直接输出原始图像，使得参与超分重建的残差信息量正相关于放大倍数；

所述参数化残差学习单元的形式化表达为：