[发明专利]基于多特征学习的超分辨图像重建方法及系统

说明书

本公开公开了基于多特征学习的超分辨图像重建方法及系统，方法充分利用单幅输入图像本身所包含的丰富信息进行重建，无需依赖于外部数据库。方法基于图像的跨尺度相似性建立图像特征间的映射关系，并直接利用映射关系对输入图像重建包含高频信息的高分辨图像，很好地克服了使用插值放大方法重建图像导致的高频信息缺失的缺陷。方法利用奇异值阈值化获取有效高频信息，并利用梯度特征映射关系将高频信息放大后分块叠加到高分辨率图像上，得到最终的图像重建结果。这种利用图像特征组合重建图像的方式有效地抑制了重建图像的噪声点，并且较好的保持了图像边缘和纹理信息，实现了图像的细节增强。

技术领域

本公开涉及图像处理技术领域，特别是涉及基于多特征学习的超分辨图像重建方法及系统。

背景技术

本部分的陈述仅仅是提高了与本公开相关的背景技术，并不必然构成现有技术。

图像超分辨率技术是通过一定的手段将低分辨率图像(Low Resolution Image，LR)转换为高分辨率图像(High Resolution Image，HR)。在这个过程中尽量多的保留图像的有效信息，包括图像的结构、纹理、细节等。

目前图像超分辨率技术的研究方法很多，主要分为基于插值的超分辨率方法、基于重建的超分辨率方法和基于学习的超分辨率方法。

第一类：基于插值的方法，包括传统的双线性插值、双三次插值。该类方法重建出来的图像容易出现边缘模糊且整体视觉效果不佳等现象。为了改善传统插值方法造成的缺陷，出现了许多新的插值方法，这些方法虽然有效的克服了传统插值方法的缺陷，但是仍然难以取得令人满意的视觉效果，例如基于边缘的图像插值方法在图像细节处出现了变形等现象且算法复杂度高。

第二类：基于重建的方法，该类方法的重建结果往往缺乏图像高频信息，且结果往往依赖重建约束，从而使图像看上去比较平滑。因此，Wang等人提出基于边缘导向的方法，提高了边缘的锐度。Zhao等人提出了局部纹理约束的方法，提升了纹理清晰度。经典的迭代反投影法(IBP)，其解往往不唯一，且得到的结果图像经常会包含噪声。变差(TV)模型引入正则项来约束求解空间，有利于保持图像结构的稳定性，正则化项在抑制噪声的同时也会抑制图像的细节，所以重建图像会出现过于平滑的效果。

第三类：基于学习的方法，该类方法侧重于将学到的初始高低分辨率图像对之间的关系应用于待重建的高低分辨率之间。充分利用外部图像库的信息来重建结果图。相比于前两类方法，基于学习的方法可以有效弥补图像放大过程中丢失的高频信息，从而改善图像重建过程中出现的模糊现象。随着稀疏编码的提出，出现了稀疏表示的方法利用低分辨率字典与初始低分辨率图像求得稀疏表示系数，组成稀疏矩阵，将该稀疏矩阵与高分辨率字典相乘得到重建结果。Dong等人将非局部相似性与稀疏表示模型相结合提出非局部自回归模型的方法，取得了较好的重建效果。这类方法重建结果很大程度上取决于外部数据集。Zhao等人提出一种基于LPE的超分辨率重建技术不依赖传统的字典学习方法，重建结果较清晰。Tai等人用低分辨率实例来补充高分辨率实例的高频信息。充分考虑了图像的边缘信息,，取得了较好的重建效果。Timofte等人将字典学习的方法和局部线性回归的方法结合(ANR)。Timofte等人结合ANR和局部线性回归的方法提出改进后的ANR方法(A+)，降低了计算复杂度。

近来，深度学习技术得到极大发展，Dong等人将其应用于图像超分辨率重建中，提出卷积神经网络的方法。这些方法依赖于特定的数据集，对于重建某类图像效果较好，但是对于其它类型的输入图像往往不能取得十分理想的效果。Freedman等人提出高低分辨率图像的关系，用马尔可夫随机模型来预测上采样缺失的高频图像带。这种方法虽然能够增强高频信息、较好地保持图像细节且锐化边缘，但如果图像块搜索错误，会在重建结果的边缘处引入噪声或者产生边缘不规则的现象。