[发明专利]一种单张图像超分辨的方法

说明书

本发明公开了单张图像超分辨的方法，包括：对单张低分辨率图像上采样得到图像P1；将P1输入一VDSR，输出高分辨率图像P2；分别用变换核T1、T2对P1、P2做Saak变换，P1、P2分别得到2nsupgt;2/supgt;张Saak特征图；变换核T1、T2分别由P1、P2计算得到；Saak变换的卷积核为n×n，n为自然数；从P1的2nsupgt;2/supgt;张Saak特征图中选择前m张作为训练集训练一卷积神经网络，并将所选的这m张Saak特征图输入该卷积神经网络，输出P1的m张特征图；1≤m≤nsupgt;2/supgt;；从P2的2nsupgt;2/supgt;张Saak特征图中选择后2nsupgt;2/supgt;‑m张，来与上述卷积神经网络输出的P1的m张特征图组成2nsupgt;2/supgt;张图进行Saak反变换，得到高分辨率图像P3；将P2与P3融合得到最终高分辨率图像P4。

技术领域

本发明涉及计算机视觉以及数字图像处理领域，尤其涉及单张图像超分辨的方法。

背景技术

单张图像超分辨率重构技术是指利用计算机将一幅低分辨率图像进行处理，恢复出高分辨率图像的一种图像处理技术，一直是计算机视觉领域中一个很热门的方向。高分辨率意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。因此广泛应用于视频监控、目标检测、人脸识别、自动驾驶等领域中。

由于高低分辨率图像信息的不对称性，这是一个典型的不适定问题，即一张低分辨图像往往对应着无数的高分辨率解。在当前的超分辨算法中，不论是传统算法还是深度学习模型，大多都是假设低分辨率图像是由一张高分辨率图像经由一个已知的模糊核(如高斯模糊，双三次插值等)下采样得到的，再从低分辨图像反解出高分辨图像。

基于单幅图像的超分辨算法主要分为两个方向：一种基于传统算法的图像内部插值超分辨和外部样本字典学习超分辨，通过加入各类正则约束提高算法效果；另一种则是基于深度学习的图像超分辨，通过神经网络学习低分辨图像到高分辨图像的映射。基于深度学习的图像超分辨技术达到了目前最好的性能。

基于深度学习的方法主要指由机器学习引入的稀疏字典学习方法，首先通过高分辨率图像集合经过某种退化模型得到其对应的低分辨率图像集，二者共同作为训练集进行训练，学习可以描述图像特征的字典，并通过字典的映射来重构高分辨率图像。这种方法的优点是恢复效果较好，但生成字典的映射质量严重依赖训练集的数量和质量，并且计算量很大，处理效率偏低。

图像质量评价指标是评价超分辨图像质量的重要组成部分，其主要分为客观评价和主观评价两类，其中常用的客观评价指标包括均方差(MSE)、峰值信噪比(PSNR)和结构相似性指数(SSIM)，但是客观评价指标往往不能真实地反映人类的主观视觉效果。主观评价主要靠通过人工打分取均值等方法，此类方法能有效地反应视觉效果质量，但是由于主观感觉的不同，评价结果往往因人而异。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的主要目的在于提出一种单张图像超分辨的方法，通过引入Saak变换来约束图像在深度网络中训练的过程，以期恢复图像的高频纹理细节信息，使超分辨得到的图像细节更加生动，更符合人眼视觉感受。

本发明为达上述目的提出以下技术方案：

一种单张图像超分辨的方法，包括以下步骤：

S1、对单张低分辨率图像进行上采样，得到图像P1；

S2、将P1作为深度学习网络VDSR的输入，输出高分辨率图像P2；