[发明专利]一种基于SAE和稀疏表示的图像超分辨率方法

说明书

技术领域

本发明属于图像处理领域，涉及一种基于SAE和稀疏表示的图像超分辨率方法。

背景技术

随着科技的发展与社会安全意识的不断加强，视频监控系统被广泛应用于公共安全领域。高质量、高分辨率图像由于可以反映视觉场景、人物中更多的细节信息，因而对于视频监控系统功能的实现至关重要。然而，在实际应用中，低分率图像的产生不可避免。一方面，许多成像系统(如红外成像仪和CCD、CMOS传感器等)由于受其固有的传感器阵列排列密度的限制以及目标移动、聚焦不良、系统噪声等因素影响,使其自身采集图像的分辨率难以达到期望的水平，具有模糊、噪声、变形等缺陷，形成低分辨率图像；另一方面，由于监控系统监控设备安装位置不佳、监控距离较远、监控角度大、视频压缩采样严重等因素的影响，往往会导致监控画面辨识度较差，分辨率较低。而低分辨率的图像对于提取视频监控图像中有用的关键信息如刑侦中犯罪人员的人脸信息、交通事故中违章车辆的牌照以及驾驶员人脸特征等将造成诸多不便，从而影响视频监控系统在日常监控、刑侦、反恐、交通监测等方面的实际应用性能，因而研究如何获取或提高图像的分辨率具有重要的现实意义。作为提高图像分辨率的一种重要技术手段，图像超分辨率(Super-Resolution,简称SR)技术可以采用软件方法从一幅或多幅已观测的低分辨率图像中恢复重建出高分辨率图像或图像序列。这种技术由于可以从软件算法上显著提高图像的空间分辨率，弥补硬件采集成像系统的不足，降低应用成本，因而在遥感图像系统、卫星成像系统、医学图像诊断系统、数字电视系统、视频监控、刑侦影像分析系统等图像处理系统中具有十分重要的应用价值和广阔的应用前景。

目前，按照重建高分辨率图像思想原理的不同，现有的超分辨率技术主要分为三种类型，即基于插值的超分辨率技术、基于重建的超分辨率技术以及基于学习的超分辨率技术。

基于插值的图像超分辨率技术的基本思想是首先把一幅待放大的单帧低分辨图像配准到所期望的高分辨率图像的像素点上，再使用插值技术在高分辨率图像中把没有配准的像素点计算出来。传统的插值技术包括最近邻插值法、二次插值法、双三次插值法等。这类技术发展起步较早，其特点是简单直观，一般运算速度比较快，在实时性要求较强但图像要求较低的场合具有较好的实用价值。但这种方法在没有引入额外先验信息的情况下，仅凭单帧图像插值很难恢复高分辨率图像所具有的细节信息，因而其重建能力有限，重建过程中很难恢复有效的高频信息，重建的图像中容易存在局部振铃效应或整体偏光滑，也容易产生模糊或锯齿效应。

基于重建的超分辨率技术按照研究空间的不同又主要分为频域法和空域法两类。基于频域类的超分辨率重建技术主要是利用傅里叶变换空域上的平移对应于频域上的相移性质，从具有不同相位的低分辨率图像的频谱中估计出高分辨率图像的频谱，然后进行傅里叶反变换重构出高分辨率图像。由于图像的卷积、平移、旋转等运算在频域中可以方便地转化成易于处理的算术运算形式，使得基于频域类的超分辨率重建方法在理论推导和计算上都有一定的优势。但随着人们研究的深入发现，这类重建方法难于处理噪声问题，并且难于在处理过程中添加先验信息，使得这类方法的研究受到了限制。基于空域类的超分辨率重建技术则是通过建立图像退化的物理模型，假设低分辨率图像是通过原始高分辨率图像经几何形变、模糊和降采样操作得到的结果，最终利用多帧低分辨率图像间的融合来反演高分辨率图像。目前，这类超分辨率重建方法典型的有迭代反向投影法(IBP)、凸集投影法(POCS)、最大后验概率(MAP)方法、最大似然概率(ML)方法以及混合MAP/POCS法等。基于空域类的方法中，由于其观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、非理想采样等内容，具有很强的包含空间先验约束的能力，能够弥补频域法以及传统插值方法重建高分辨率图像过程中的一些不足之处。但这种基于重建的图像超分辨技术需要依赖大量同一场景下或相关性、互补性很强的大量低分辨率图像，并且这类方法侧重于从信号处理的角度恢复高分辨率图像，对图像内容和结构知识的理解学习能力较弱。