[发明专利]一种视频超分辨率重建方法及其系统

说明书

技术领域

本发明涉及视频超分辨率重建技术领域，具体来说是一种视频超分辨率重建方法及其系统。

背景技术

由于超分辨率重建技术可以在不改变现有成像系统的条件下，有效的克服成像系统内在的分辨率限制，同时能够极大的降低成本，因而在很多领域都有着极大的应用价值。例如：在医学诊断中，高分辨率医学图像能够更好的帮助医生做出正确的诊断；在遥感领域中，高分辨率的卫星图像能够帮助更好的区分地面的相似物体；在视频监控系统中，有时需要对感兴趣目标的局部特征进行放大辨识，如汽车牌照或现场人脸等。如果能够通过对硬盘中相关视频信息进行超分辨率重建处理，获得清晰的局部特征，就能够对目标进行更好的识别判断。

现阶段有很多研究人员已经提出了不同的超分辨率重建方法，并在不同的应用场景下取得了一定的成功。但是由于很多方法实施的前提是需要有同一个场景下多幅低分辨率的图像，这在实际的应用中并不理想。原因在于我们只有退化的视频，即每一帧只有一个低分辨率图像，这些多幅低分辨率图像如何获得是个难题，也就是说很多超分辨率重建算法不切实际，无法广泛的得到应用。如何设计出一种从仅有的一幅低分辨率的图像就可以重建出一幅高分辨率图像的超分辨率重建方法和系统已经成为当今急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中超分辨率重建方法需要获取多幅低分辨率图像进行视频图像重建的缺陷，提供一种视频超分辨率重建方法及其系统来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种视频超分辨率重建方法，包括以下步骤：

初始化分析视频特征，判断视频的第一帧图像的特性，分辨该视频是灰度视频还是彩色视频，若是灰度视频，则直接进行下一步处理，若是彩色视频，则将彩色视频分成R、G、B三个通道分别按照灰度视频来处理；

基于稀疏主成分分析进行去噪处理，读取视频的下一帧图像，构造由稀疏主成分分析得到的正交转换矩阵，通过训练样本模块得到中心数据集，将正交转换矩阵应用于中心数据集并结合线性最小均方误差估计模型来抑制噪声，进行去噪处理；

基于向量连分式插值进行重建放大处理，对去噪后的图像构造向量控制网格，由向量控制网格结合连分式有理插值构造出有理插值曲面，通过插值曲面的采样实现图像的放大；

检查视频是否处理完毕，若处理完毕，则完成视频超分辨率重建，若未处理完毕，则继续进行基于稀疏主成分分析进行去噪处理。

所述的基于稀疏主成分分析进行去噪处理包括以下步骤：

读取视频下一帧图像，即第t帧图像像素值为G(x,y,t)，图像用矩阵表示，矩阵的大小为m×n,其中，x(1≤x≤m)为行，y(1≤y≤n)为列，t为帧；将获得的低分辨率图像作为训练模块，由训练模块计算中心数据集，在训练模块中间设置一个变量模块K×K(K<m,K<n)；

对于每一组的模块通过解决最优问题找到最大数量的稀疏主成分，并得到一个正交转换矩阵；

将正交变换矩阵用于中心数据集，并结合线性最小均方误差估计模型移除噪声，得到去噪后的估计图像。

所述的基于向量连分式插值进行重建放大处理包括以下步骤：

求出上一步获得的去噪后图像S(x,y)的尺寸为m×n，其中，x(1≤x≤m)为行，y(1≤y≤n)为列；将S(x,y)扩展为(m+1)×(n+1)的图像S₁(x,y)，保证放大的图像边界保持良好；

根据图像的块特征，按照从上到下，从左到右的顺序，将上一步去噪后的估计图像分块处理，分别构造出3×3的向量控制网格V^m×n，矩阵大小为m×n；用表示拓展后图像的第i行第j列像素的灰度值向量；

构造一个二元向量有理函数满足采用分块拼接的方法构造m×n个3×3的二元有理插值曲面；

根据放大倍数，利用映射关系找到放大后图像某点对应到原始图像中的位置，将得到的位置坐标带入二元有理插值函数中，得到放大的图像某点的像素值。

所述的计算中心数据集包括以下步骤：

获取下一帧图像得到的数据集矩阵G(x,y,t)∈R^m×n,矩阵的大小为m×n,每个组成部分g(x,y,t)_k,k＝1,2,...,m有n个样本；

将退化的视频模型定义为：

G(x,y,t)＝D(x,y,t)*F(x,y,t)+N(x,y,t),这里D(x,y,t)是低采样算子,G(x,y,t)是退化的视频，F(x,y,t)是原始视频，N(x,y,t)是附加的噪声；