[发明专利]一种基于自监督学习的视频盲超分辨率重建方法及系统

说明书

本发明提供了一种基于自监督学习的视频盲超分辨率重建方法及系统，方法包括：首先采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；基于模糊核估计网络，利用第一分辨率视频序列估计模糊核；其次基于光流估计网络和第一分辨率视频序列确定形变矩阵；然后利用特征提取网络提取第一分辨率视频序列中各视频帧的特征，根据形变矩阵对齐各视频帧的特征；再次利用潜在高分辨率中间帧重建网络和对齐后各视频帧的特征来构建第二分辨率中间视频帧；最后基于第二分辨率中间视频帧确定第二分辨率视频。本发明采用自监督方法能够有效改善重建高分辨率视频时虚假伪影以及错误结构信息，进一步提高视觉效果。

技术领域

本发明涉及视频分辨率重建技术领域，特别是涉及一种基于自监督学习的视频盲超分辨率重建方法及系统。

背景技术

目前，高分辨率显示设备发展迅速，但使用这些设备放映低分辨率视频时，不可避免的会出现模糊和明显的伪影现象，因此视频超分辨率技术受到了越来越多的关注。

视频超分辨率技术的目标是从给出的低分辨率视频中重建出高分辨率视频。视频超分辨率问题的退化过程通常被定义为：

y_j＝SK_jF_i→jx_i+n,j＝i-N,i-N+1,…,i+N (1)，

其中，y_j、x_i、n分别表示第j视频帧低分辨率图像、第i视频帧高分辨率图像和噪声；S和K_j分别表示降采样矩阵和模糊矩阵；F_i→j表示形变矩阵(与光流u_i→j相关，用于将x_i向第j视频帧形变，实现对齐)。由于潜在高分辨率中间视频帧x_i、模糊矩阵K_j和形变矩阵F_i→j都是未知的，所以视频超分辨率是一个高度病态的问题。

目前，随着深度卷积神经网络的发展，许多任务借助深度卷积神经网络都取得了可观的效果。但是，对于视频超分辨率任务，想要获取成对的低-高分辨率训练数据，是十分困难的。大多数视频超分辨率算法都假设模糊核是已知的(如高斯模糊核、双三次插值)，并使用假设的模糊核构建大规模数据集来训练深度模型。但是，实际场景下的模糊核更加的复杂，所以用假设的模糊核构建的数据集，然后利用数据集训练的深度模型在真实视频上的泛化能力较差，但在实际应用场景中图像退化过程更加复杂，所以利用上述方式训练的深度模型在对真实视频高分辨率重建时，会出现虚假伪影以及错误结构信息，这类错误信息会使视觉效果降低，并且在基于重建后的高分辨率视频进行下游任务时，会造成精度下降的影响。

发明内容

基于此，本发明的目的是提供一种基于自监督学习的视频盲超分辨率重建方法及系统，以改善重建高分辨率视频时出现虚假伪影以及错误结构信息的现象。

为实现上述目的，本发明提供了一种基于自监督学习的视频盲超分辨率重建方法，所述方法包括：

S1：基于第一分辨率视频确定第一分辨率视频序列；

S2：采用自监督学习方法确定模糊核估计网络、光流估计网络、特征提取网络和潜在高分辨率中间帧重建网络；

S3：基于所述模糊核估计网络，利用所述第一分辨率视频序列估计模糊核；

S4：基于所述光流估计网络和所述第一分辨率视频序列确定形变矩阵；

S5：利用所述特征提取网络提取所述第一分辨率视频序列中各视频帧的特征，根据所述形变矩阵对齐各视频帧的特征，获得对齐后各视频帧的特征；

S6：利用所述潜在高分辨率中间帧重建网络和所述对齐后各视频帧的特征来构建第二分辨率中间视频帧；