[发明专利]基于自身样例和稀疏表示的图像超分辨率方法

说明书

单幅图像超分辨率处理方法的目标是仅从一幅低分辨率的图像，重建出一幅高分辨率且清晰的图像。本发明提出了一种利用内部样例和外部字典训练相结合的重建图像高频信息的方法。在训练阶段，该方法首先利用内部样例训练的方法重建出图像中的主要高频特征，然后再利用外部字典训练的方法训练稀疏字典对。在图像重建阶段，首先利用和离线过程中同样的方法重建出主要高频特征，然后再利用稀疏表示的方法重建出残差高频特征。实验表明，该算法可以重建出比较好的图像中的高频信息，所提出的方法的性能指标好于现有的超分辨率方法。

技术领域

本发明涉及到一种图像处理的方法，尤其是单幅图像的超分辨率处理的技术领域。即， 仅给定一幅低分辨率的图像，需要从中重构出高分辨率且清晰度更高的图像。本技术在图像 与视频的放大、视频监控、遥感图像处理等领域有着广泛的的应用。

背景技术

仅从一幅低分辨图像中重建出一幅高分辨图像的过程称为单幅图像的超分辨率技术 (single image super-resolution)。在最近一些年，单幅图像的超分辨率技术在实际生活中有着 广泛的应用，例如：在遥感图像，医学图像，监控图像，图像视频压缩和计算机视觉等领域， 此技术用来提高图像的清晰度。

目前，图像的超分辨的方法可以分为如下几类：(1)基于插值的方法。其利用图像的已 知低分辨率像素值来进行插值获得高分辨率像素值。这类方法的特点是速度快，然而其重构 的图像的质量不高，尤其是对于图像的边缘部分，会产生边缘模糊的效应。(2)基于样例的 方法。在这类方法的基于外部样例法中，利用外部大量的训练图像来得到含有低分辨率图像 块和所对应的高分辨率图像块的集合。然后，对待放大的图像块，在训练集合中寻找其最相 似的几个低分辨率的图像块，通过这些图像块在训练集合中所对应的高分辨率图像块的优化 的组合来得到高分辨率的图像块。在这类方法的基于内部样例法中，通过对输入的低分辨率 图像进行模拟的退化过程，得到分辨率更低的图像块，并不断迭代重复这一过程直到获得足 够多的在不同分辨率上的图像块，以在这些图像中，提取低分辨率的图像块和所对应的高分 辨率的图像块放入训练集合。这类方法的特点是训练时间长，需要很大的存储空间来存储训 练集合。同时，其找到相似块的计算部分很费时。其重构的高分辨率的图像的质量一般来说 要好于基于插值的方法，但是在图像中会产生块效应，影响其输出图像的视觉效果。(3)基 于神经网络进行深度学习的方法。在这类方法中利用多层的卷积神经网络(CNN)来学习低 分辨率图像到高分辨率图像的映射，在学习完之后，利用学习好的模型来产生高分辨率的图 像。在这里，需要大量的训练图像来产生较好的卷积神经网络的模型。一般来说，这类方法 的效果也要好于基于插值的方法。同时，如果输入的低分辨率图像和训练集中的图像的差异 较大时，会降低其输出图像的质量。(4)基于稀疏表示的方法。在这类方法中，利用大量的 训练图像来产生可以稀疏表示图像的字典，包括低分辨率图像的字典和高分辨率图像的字典。 对于要放大图像上的图像块，首先利用低分辨率字典来稀疏表示，然后利用同样的稀疏表示 的系数和高分辨率的字典来产生高分辨率的图像块。这类方法在训练之后，仅需要存储低分 辨率块的字典和高分辨率块的字典，其需要的存储空间大大小于基于样例的方法。一般情况 下，其获得的输出的图像的质量和以上所介绍的基于神经网络进行深度学习方法所输出的图 像的质量差不多。同时，其泛化能力强，即使要放大的图像和训练集合中的图像相差较大， 也能获得较好的输出的高分辨率的图像。

通过以上介绍，可以看出基于稀疏表示的方法具有较好的性能，本发明将对原有的基于 稀疏表示的方法进行改进，以提高输出的高分辨率图像的质量和视觉效果，得到更清晰的图 像。

发明内容