[发明专利]基于子空间投影和邻域嵌入的图像超分辨率重建方法

说明书

技术领域

本发明涉及图像处理的方法，尤其涉及一种基于子空间投影和邻域嵌入的图像超分辨率重建方法。

背景技术

图像超分辨率(Super Resolution，SR)重建技术是指利用在同一场景不同观测角度、不同观测时间或不同传感器情况下捕获到的一幅或多幅低分辨率(Low Resolution，LR)图像中的相互信息，采用数字图像处理的方法来重建出一幅高分辨率(High Resolution，HR)图像。这种重建技术能够在电荷耦合器件(Charge Coupled Device，CCD)等硬件设备限定的条件下，通过一幅或多幅低分辨率图像来估计出其丢失的高频信息。在遥感卫星、军事侦察、医学成像、安全监控以及交通管理等领域，图像超分辨率重建技术不仅具有重要的研究价值，也具有广泛的应用前景。

图像超分辨率重建的实质是如何解决丢失高频信息的精确估计问题，这是一个经典的一对多病态问题，对这一问题的理论和应用研究仍处于探索阶段，图像超分辨率重建方法的时间效率和超分辨率重建图像的质量等方面都有待进一步的提高。现有的图像超分辨率重建方法主要分为插值、重构和学习三大类。插值法是一种利用已知的近邻点值来估计出待插值点值的方法，这类方法很难估计出丢失的高频信息。重构法是利用多幅低分辨率图像之间的相互信息综合估计出高频信息，其重建效果比插值法的要好。不过，重构法需要多幅精确配准后的低分辨率图像，目前多数图像配准算法的精度都不是很高，会影响超分辨率重建图像的质量。学习法是先学习训练库中低分辨率图像块与高分辨率图像块之间的对应关系，并依据这种关系来估计出与待重建低分辨率图像块相对应的高分辨率图像块。学习法能够实现单幅图像超分辨率重建，不需对图像进行配准，且能从训练库中获取到更多的高频信息，从而得到更好的重建效果。因此，学习法是目前图像超分辨率重建技术的研究热点。

基于邻域嵌入的图像超分辨率重建是学习法中的一个重要分支，近年来取得良好的研究成果。Chang等(文献1：H.Chang，D.-Y.Yeung，and Y.Xiong，“Super-resolution through neighbor embedding”，IEEE Conference on Computer Vision Pattern Recognition，pp.275-282，2004)首先提出利用邻域嵌入的思想来实现图像超分辨率重建，这种方法是在低分辨率图像块和对应的高分辨率图像块具有相似局部几何特征假设的前提下，针对每个待重建低分辨率图像块，利用局部线性嵌入(Locally Linear Embedding，LLE)算法来计算出若干个与待重建低分辨率图像块相似的训练低分辨率图像块的嵌入权重系数，每个相似的训练低分辨率图像块作为一个邻域块，进而用这些嵌入权重系数和相应的邻域块来综合估计出重建后的高分辨率图像块。不过，该方法没有考虑图像块类型和邻域块数目对超分辨率重建效果的影响。随后，Chan等(文献2：T.-M.Chan，J.Zhang，J.Pu，and H.Huang，“Neighbor embedding based super-resolution algorithm through edge detection and feature selection”，Pattern Recognition Letters，vol.30，pp.494-502，2009)提出一种基于边缘检测和特征选取的邻域嵌入算法，这种方法能够根据图像块的类型(边缘和非边缘)来确定要选取邻域块的数目，然而，当输入待重建低分辨率图像存在严重的模糊效应时，该算法会很难判断出图像块的类型，使得超分辨率重建效果不佳。Zhang等(文献3：K.Zhang，X.Gao，X.Li，and D.Tao，“Partially supervised neighbor embedding for example-based image super-resolution”，IEEE Journal of Selected Topics in Signal Processing，vol.5，no.2，pp.230-239，2011)利用类别标签信息来构造出一个半监督的距离函数，根据这个半监督的距离函数能从训练库中选取出更多与待重建低分辨率图像块匹配的邻域块，该方法的超分辨率重建效果在一定程度上依赖于分类器的识别精度。文献1～3中所述的算法都是在原始高维特征空间上寻找若干个邻域块，由于原始特征向量的维数很大，只依靠某种距离函数来寻找邻域块，寻找到的邻域块与待重建低分辨率图像块之间的相似度不高。特征降维是解决上述问题的一种可行方法，基于这一思路，Gao等(文献4：X.Gao，K.Zhang，D.Tao，and X.Li，“Joint learning for single image super-resolution via coupled constraint”，IEEE Transactions on Image Processing，2011)提出用联合学习法来将训练低、高分辨率特征向量同时投影到一个低维特征子空间上，进而在这个低维特征子空间上寻找出若干个与待重建低分辨率图像块匹配的邻域块。虽然文献4用到了特征降维的方法，但当原始低、高分辨率特征向量同时投影到统一的低维特征子空间上时，由于原始高分辨率特征向量的维数要比原始低分辨率特征向量的大，不可避免地会损伤原始高分辨率特征向量中的有用信息，对寻找匹配的邻域块也会产生不良影响。另外，文献1～4的算法在计算嵌入权重系数时都是采用局部线性嵌入算法，计算出来的嵌入权重系数有可能为负值，这会影响近邻训练高分辨率图像块所能提供高频信息的程度，且该算法的计算复杂度高，运算速度慢。