[发明专利]基于自适应插值核学习的视频超分辨率重建方法

说明书

技术领域

本发明实施例涉及视频图像处理技术领域，具体涉及一种基于自适应插值核学习的视频超分辨率重建方法。

背景技术

数字图像超分辨率重建技术^[1,2]是指利用观测到的低分辨率图像，通过信号处理的方法重建具有较高分辨率的图像。目前，超分辨率重建技术已经在多种实际领域显现出了重要的应用价值和广阔的应用前景，包括卫星遥感领域、夜视红外成像领域、视频监控领域以及在军事目标分析和跟踪领域等。其中，与我们日常生活密切相关的即是在视频监控领域中的相关应用。目前国内安防系统广为采用的是PAL标准、分辨率为352×288的视频信号，但是这个分辨率往往不能满足实际需求。通过对某个时间段的视频信号或某个时间点的关键图像进行超分辨率重建，提高感兴趣区域的空间分辨率，对于车牌识别、罪犯通缉和信息捕获等是至关重要的。

目前视频超分辨率重建方法可以分为两类^[2,3,4]，一类是利用计算视频帧间相关性，计算相邻若干帧之间的运动矢量，获取互补信息，从而重建单帧高分辨率的图像；另一类则是直接处理视频中的每一帧图像，利用基于单幅图像的超分辨率重建算法，对整个视频中的每帧图像都进行超分辨率放大，从而获得超分辨率重建后的视频。前类方法虽然能获得更好一些的效果，但是由于计算准确的具有亚像素精度的运动矢量并不容易，并且具有极高的计算复杂度，因此并不能实现在视频上的实时放大，因此比较好的做法是采用单幅图像超分辨率重建算法对视频中的每帧图像逐一处理，实现视频的实时超分辨率重建。

针对单幅图像进行超分辨率重建的方法大致可以分为两类^[5]：基于带约束重建的算法和基于机器学习的方法。采用带约束重建的算法^[6,7,8]将超分辨率重建问题看成求解图像降质模型的逆问题，即通过加入一些先验信息和约束条件来限定该逆问题的解空间，从而通过单幅输入图像重建出具有高分辨率的输出图像。但是由于输入图像的信息毕竟非常有限，重建图像在很大程度上会依赖于所加入的先验信息和约束条件，而存在一定的失真。为了克服这些问题，基于机器学习的方法^[9,10]被提出并被广泛使用。基于学习的超分辨率重建算法通常包含两个步骤：(1)建立高低分辨率对应的训练图像集，从而学习出高低分辨率图像块之间的相关信息；(2)根据输入的低分辨率图像，利用一些预测算法，将训练得出的相关高频信息加入到低分辨率图像中，从而获得具有较高分辨率的输入图像。相比于带约束重建的方法，基于学习的超分辨率算法通常能获得更好的结果，但是它的计算复杂度也更高，因此利用它实现视频的实时放大将非常困难。

目前，通过利用GPU加速，已有部分文献将基于带约束重建的方法应用到视频中，实现了视频的实时放大重建，例如抗失真的实时放大算法^[11]，基于边缘指导的核估计放大方法^[12]等。但是，利用基于学习的超分辨率重建算法在视频实时放大中还未见成熟的技术和文献。因为在基于学习的超分辨率重建算法中，输入图像首先会被分成相互重叠的小块，然后对每一个小块逐一进行放大都需要求解一个非线性的优化问题，因此即使采用GPU加速的方法，也仍然难以实现视频实时超分辨率重建的要求。

文中引用的文献如下所示，以下文献通过引用结合于此：

[1]卓力，王素玉，李晓光.图像/视频的超分辨率复原.人民邮电出版社，2011.

[2]AlanBovik.图像与视频处理手册(下)(英文版).电子工业出版社,2006.

[3]王勇，郑辉，胡德文.视频的超分辨率增强技术综述.计算机应用研究.,2005,22(1),4-7.

[4]何小海，吴媛媛，陈为龙，卿粼波.视频超分辨率重建技术综述.信息与电子工程.,2011,9(1),1-6.

[5]J.Tian,K.K.Ma.Asurveyonsuper-resolutionimaging.SignalImageVideoProcessing,2011,5(3),329-342.

[6]汪雪林，文伟，彭思龙.基于小波域局部高斯模型的图像超分辨率.中国图像图形学报A辑.,2004,9(8),941-946.

[7]韩华，王洪剑,彭思龙.基于局部结构相似性的单幅图像超分辨率算法.计算机辅助设计与图形学学报.,2005,17(5),941-947.