[发明专利]一种视频超分辨率方法、装置、设备及存储介质

说明书

本发明公开了一种视频超分辨率方法、装置、设备及存储介质。该方法包括：获取待处理视频帧序列；其中，待处理视频帧序列包括至少一个视频帧组，视频帧组为三帧连续的视频帧；将待处理视频帧序列输入至预设的视频超分辨率模型，根据输出的生成结果确定与待处理视频帧序列对应的超分辨率视频帧序列；其中，视频超分辨率模型为采用设定训练方法训练的神经网络模型；视频超分辨率模型中至少包括多分枝特征融合模块，多分枝特征融合模块用于并行提取不同感受野大小的特征信息和高频特征信息，并将不同感受野大小的特征信息和高频特征信息进行融合。本发明实施例的技术方案，在降低了参数数量和数据运算量的同时，增强了超分辨率视频帧重建的准确性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种视频超分辨率方法、装置、设备及存储介质。

背景技术

随着日常生活中高分辨率电子设备的普及，各行业对高分辨率视频的需求越来越大，但由于高清成像设备昂贵以及高清视频传输成本较高等因素，目前主流视频的分辨率仍旧为720P甚至更低，难以满足大众的需求。

目前给出了一种新的端到端的视频超分(Dynamic Upsampling Filters,DUF)神经网络模型，实现低分辨率视频帧的时空特征提取和重建，进而得到对应的高分辨率视频帧。同时还给出了另一种双向循环神经网络结构的基础视频超分网络模型(Basic VideoSuper-Resolution，BasicVSR)，该网络结构可将远距离前向和后向视频帧的时空信息传递至当前帧，从低分辨率视频帧中重建高分辨率视频帧。

然而，DUF及BasicVSR等视频超分辨率模型，其模型结构较为复杂。如DUF网络模型中使用三维卷积对视频帧进行时空特征提取，而三维卷积方案在实际应用中参数量较多，运算量较大，且在训练过程中难以收敛。而BasicVSR模型虽然超分辨率重见效果优秀，但其采用的双向循环网络结构，在进行训练及测试时需要输入双向的视频帧，且模型较为庞大，难以被应用于日常生活中对视频的实时超分辨率重建。

发明内容

本发明提供了一种视频超分辨率方法、装置、设备及存储介质，实现了通过紧凑轻量的神经网络模型实现对低分辨率视频的超分辨率重建，降低了参数数量和数据运算量，同时提升了视频帧提取信息的丰富性，增强了超分辨率视频帧重建的准确性。

第一方面，本发明实施例提供了一种视频超分辨率方法，该方法包括：

获取待处理视频帧序列；其中，待处理视频帧序列包括至少一个视频帧组，视频帧组为三帧连续的视频帧；

将待处理视频帧序列输入至预设的视频超分辨率模型，根据输出的生成结果确定与待处理视频帧序列对应的超分辨率视频帧序列；

其中，视频超分辨率模型为采用设定训练方法训练的神经网络模型；视频超分辨率模型中至少包括多分枝特征融合模块，多分枝特征融合模块用于并行提取不同感受野大小的特征信息和高频特征信息，并将不同感受野大小的特征信息和高频特征信息进行融合。

第二方面，本发明实施例还提供了一种视频超分辨率装置，该视频超分辨率装置包括：

视频帧获取模块，用于获取待处理视频帧序列；其中，待处理视频帧序列包括至少一个视频帧组，视频帧组为三帧连续的视频帧；

超分辨率帧生成模块，用于将待处理视频帧序列输入至预设的视频超分辨率模型，根据输出的生成结果确定与待处理视频帧序列对应的超分辨率视频帧序列；

其中，视频超分辨率模型为采用设定训练方法训练的神经网络模型；视频超分辨率模型中至少包括多分枝特征融合模块，多分枝特征融合模块用于并行提取不同感受野大小的特征信息和高频特征信息，并将不同感受野大小的特征信息和高频特征信息进行融合。

第三方面，本发明实施例还提供了一种视频超分辨率设备，该视频超分辨率设备包括：

至少一个处理器；以及