[发明专利]面向云端融合的视频超分辨率方法及系统

说明书

本发明提供了一种面向云端融合的视频超分辨率方法及系统，属于视频处理领域，包括还原效果预测模块、任务动态调度模块、移动端处理模块、云端处理模块和帧融合模块；方法包括：采集当前低分辨率视频帧特征，将其输入还原效果预测模块，预测当前视频帧经过双立方插值方法后及经过基于增强可变卷积网络的视频恢复模型后的超分辨率效果；通过任务动态调度模块决定是否将当前低分辨率视频帧卸载至云端处理模块进行超分辨率还原；将云端超分完成后的视频帧同本地处理完成后的视频帧输入到帧融合模块得到超分辨率还原后的高清视频。该方法在利用云端资源的前提下，实现对低分辨率视频的超分辨率处理，具有实时快速、精准还原、内存资源占用低的优点。

技术领域

本发明属于视频处理技术领域，具体涉及一种面向云端融合的视频超分辨率方法及系统。

背景技术

图像和视频通常包含着大量的视觉信息，且视觉信息本身具有直观高效的描述能力，所以随着信息技术的高速发展，图像和视频的应用逐渐遍布人类社会的各个领域。近些年来，在计算机图像处理、计算机视觉和机器学习等领域中，来自工业界和学术界的许多学者和专家都持续关注着视频图像的超分辨率技术这个基础热点问题。

视频超分辨率是指采用信号处理的方法通过对低分辨率视频的退化图像通过处理以获得一幅或者多幅高分辨率复原图像，该技术可以弥补硬件实现的局限并且成本低，在视频、遥感等领域有着重要的应用前景。近几年来，视频超分辨率的方法被大量提出。其中，基于深度学习的视频超分辨率方式以其强大的性能、可观的输出结果，成为视频超分辨率之主流以及众人才研究与发展的方向。

在视频超分辨率方面，目前有包括运动估计和补偿方法(MEMC)、可变形卷积方法(DC)、3D卷积方法(3D Conv)、循环卷积神经网络方法(RCNN)在内的许多可供选择的模型。基于深度学习的视频超分辨率方法虽然具有很高的性能，但由于模型参数庞大，需要大量的计算和存储资源，训练时间长，在实际问题中难以有效部署。故设计和实现一种高性能、轻量级的超分方法，以满足实际应用的需要是一个挑战。

目前，现有技术针对视频超分辨率还原存在：内存资源消耗过大、计算延时高的问题。因此，本发明提出一种面向云端融合的视频超分辨率方法及系统。

发明内容

为了克服上述现有技术存在的不足，本发明提供了一种面向云端融合的视频超分辨率方法及系统，该方法根据视频帧的峰值信噪比(PSNR)和视频多方法评估融合(VMAF)参数差异，动态决定其在本地还是卸载至云端进行超分辨率还原处理。

为了实现上述目的，本发明提供如下技术方案：

一种面向云端融合的视频超分辨率方法及系统，包括：

还原效果预测模块，用于在移动端抽取采集到的低分辨率视频帧特征，并将低分辨率视频帧特征输入到训练好的深度神经网络模型中进行超分辨率还原效果预测，通过深度神经网络模型可以预测出该帧视频在双立方插值(Bicubic interpolation)和基于增强可变卷积网络的视频恢复(Video Restoration with Enhanced DeformableConvolutional Networks)两种方式下每一帧的峰值信噪比(PSNR)和视频多方法评估融合(VMAF)参数指标；

本发明中的深度神经网络模型将低分辨率视频输入到基于增强可变卷积网络的视频恢复模型(EDVR)，将输出结果同高清原始视频(如4K分辨率)进行对比，获得峰值信噪比(PSNR)值，并作为深度神经网络训练集预测值，同时抽取该低分辨率视频特征作为深度神经网络输入特征，基于此训练面向EDVR的深度神经网络模型，该模型可通过抽取当前视频特征预测出EDVR输出结果。